kafka和mq的区别_kafaka和mq区别

kafka是什么意思

优点：专为海量消息传递打造，主张使用拉模式，天然的集群、HA、负载均衡支持。话说还是那句话，适合不适合看你有没有那么大的量。

kafka的意思是：卡夫卡。Push 与 Pull 区别：

kafka和mq的区别_kafaka和mq区别

kafka和mq的区别_kafaka和mq区别

kafka和mq的区别_kafaka和mq区别

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Ja编写。Kafka是一种高吞吐量的分布式发布消息系统，它可以处理消费者在网站中的所有动作流数据。

这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。

kafka的诞生，是为了解决linkedin的数据管道问题，起初linkedin采用了ActiveMQ来进行数据交换，大约是在2010年前后，那时的ActiveMQ还远远无法满足linkedin对数据传递系统的要求。

经常由于各种缺陷而导致消息阻塞或者服务无常访问，为了能够解决这个问题，linkedin决定研发自己的消息传递系统，当时linkedin的首席架构师jay kreps便开始组织团队进行消息传递系统的研发。

什么是消息中间件

许多人使用Kafka作为日志聚合解决方案的替代品。日志聚合通常收集上的物理日志文件，并将它们放在一个中心位置(可能是文件或HDFS)进行处理。Kafka抽象了文件的细节，并以消息流的形式对日志或数据进行了更清晰的抽象。这允许低延迟处理，并更容易支持多个数据源和分布式数据消费。与以日志为中心的系统如Scribe或Flume相比，Kafka提供了同样好的性能，由于而更强的持久性保证，以及更低的端到端延迟。

消息中间件属于中间件的一种，拥有中间件的主要特点，但是自身的工作机制又具有特殊性，主要特点包括以下6 个方面：(1)异步传送；(2)防御通信；(3)并发执行；(4)日志通信；(5)多种通信方式；(6)应用程序与网络复杂性相隔离。

问题二：消息中间件用在什么地方? 10分 消息中间件为应用系统提供高效、灵活的消息同步和异步传输处理、存储转发、可靠传输。在大规模分布式环境下确保消息安全、可靠、高效送达。

特点：

1.分布式环境下，可靠、高效的消息传输

产品容错能力强，系统崩溃时不会导致消息丢失，确保关键业务数据的可靠传输；支持断点续传和消息流量控制，使消息引擎能够效率地利用网络传输能力。

2.多种集群方式，稳定高效

InforSuite MQ的若干可以组建为多种方式的群组，对外提供消息接收和处理功能。当单个无法满足大负载的消息处理要求，可以使用集群功能将负载分配到多个上，提高系统的处理能力和可扩展性。

产品提供多层次的安全管理功能，包括连接建立时的网络认证，消息传输时的安全性保证，有效保证了连接的合法性和私有数据的保密性。

一般都是银行类大系统，军工或者研究所的大项目，存在很多数据传输的时候需要，可以咨询国内的一些基础中间件公司，就那么几家，中创中间件、东方通中间件、金蝶等，可以多了解

问题三：ja 消息中间件 在什么情况下使用 消息中间件一般两个功能,解耦和异步处理,参考：

问题四：消息中间件有哪些 可与OA、ERP集成的免费消息中间件Active Messenger（简称AM）是一款非常实用的企业即时通讯软件。系统提供免费的消息中间件（以组件的方式提供），开放给第三方程序使用。

TIB/Rendezvous和Microsoft MSMQ等。

问题五：ja消息中间件有哪些 ActiveMQ，是Apache出品，的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,尽管JMS规范出台已经是很久的事情了,但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。

MetaQ，是一款完全的队列模型消息中间件，使用Ja语言编写，可在多种软硬件平台上部署。客户端支持Ja、C++编程语言。单台可支持1Kafka可以作为分布式系统的一种外部提交日志。日志有助于在之间数据，并充当故障的重新同步机制，以恢复它们的数据。Kafka的日志压缩特性支持这种用法。在这种用法中，Kafka类似于Apache BookKeeper项目。万以上个消息队列，通过扩容，队列数几乎可任意横向扩展。每个队列都是持久化、长度无限（取决于磁盘空间大小）、并且可从队列任意位置开始消费

TIB/Rendezvous和Microsoft MSMQ等。

问题七：怎么选择合适的开源消息中间件 能选择的有三种：

1. ActiveMQ/ApolloMQ

优点：老牌的消息队列，使用Ja语言编写。对JMS支持，采用多线程并发，资源消耗比较大。如果你的主语言是Ja，可以重点考虑。

缺点：所谓鱼和熊掌不可兼得，放弃了一些消息中间件的灵活性，使用的场景较窄，需关注你的业务模式是否契合，否则山寨变相使用很别扭。除此之外，RocketMQ没有.NET下的客户端可用。RocketMQ身出名门，但使用者不多，生态较小，毕竟消息量能达到这种体量的公司不多，你也可以直接去购买阿里云的消息服务。Kafka生态完善，其代码是用Scala语言写成，可靠性比RocketMQ低一些。

3. RabbitMQ

缺点：Erlang代码你Hold得住不? 虽然Erlang是天然集群化的，但RabbitMQ在高可用方面做起来还不是特别得心应手，别相信广告。

问题八：什么是消息中间件，比如tonglink主要起什么作用 TongLINK/Q（简称TLQ）的主要功能是在应用程序之间海供可靠的消息传送，这些消息可以在不同的网络协议、不同的计算机系统和不同的应用软件之间传递。TongLINK/Q提供一个简单易用、高效可靠的分布式应用开发和运行平台，面向要求可靠消息（信息）传输的客户，即包括金融、电信、交通、能源、电子政务等高端客户，也包括大量中小企业客户。

中间件品牌东方通中间件

消息队列(mq)是什么

参考资料来源：

“消息队列”是在消息的传输过程中保存消息的容器。

“消息”是在两台计算机间传送的数据单位。消息可以非常简单，例如只包含文本字符串；也可以更复杂，可能包含嵌入对象。

扩展资料：

队列的介绍：循环队列

在实际使用队列时，为了使队列空间能重复使用，往往对队列的使用方法稍加改进：无论插入或删除，一旦rear指针增1或front指针增1 时超出了所分配的队列空间，就让它指向这片连续空间的起始位置。

自己真从MaxSize-1增1变到0，可用取余运算rear%MaxSize和front%MaxSize来实现。这实际上是把队列空间想象成一个环形空间，环形空间中的存储单元循环使用，用这种方法管理的队列也就称为循环队列。除了一些简单应用之外，真正实用的队列是循环队列。

在循环队列中，当队列为空时，有front缺点：由于历史悠久，历史包袱较多，版本更新很缓慢。集群模式需要依赖Zookeeper实现。架构的产品被命名为Apollo，号称下一代ActiveMQ，目前案例较少。=rear，而当所有队列空间全占满时，也有front=rear。

为了区别这两种情况，规定循环队列多只能有MaxSize-1个队列元素，当循环队列中只剩下一个空存储单元时，队列就已经满了。因此，队列判空的条件时front=rear，而队列判满的条件时front=（rear+1）%MaxSize。

RocketMQ

2. RocketMQ/Kafka

RocketMQ在阿里内部叫做Metaq（早名为Metamorphosis，中文意思 变形记 ，是作家卡夫卡的中篇代表作，可见是为了致敬Kafka）。

Metaq在阿里巴巴内部、蚂蚁金服、菜鸟等各业务中被广泛使用，接入了上万个应用系统中。并平稳支撑了历年双十一大促（万亿级的消息），在性能、稳定性、可靠性等方面表现出色，在整个阿里技术体系和大中台战略中发挥着举足轻重的作用。

RocketMQ是Metaq3.0之后的开源版本。

Metaq终源于Kafka，早起借鉴了Kafka很多的设计。但是由于Kafka是Scale语言编写而阿里系主要使用Ja，且无法满足阿里的电商、金融业务场景，所以誓嘉（花名）团队用Ja重新造轮子，并做了大量的改造和优化。

代的Notify主要使用了推模型，解决了事务消息；第二代的MetaQ主要使用了拉模型，解决了顺序消息和海量堆积的问题。相比起Kafka使用的Scale语言编写，RabbitMQ 使用Erlang语言编写，基于Ja的RocketMQ开源后更容易被广泛的研究，以及其他大厂定制开发。

执行流程：

RocketMQ 消息有两种模式，一种是Push模式（MQPushConsumer），即MQ主动向消费端推送；另外一种是Pull模式（MQPullConsumer），即消费端在需要时，主动到MQ 拉取。但在具体实现时， Push和Pull模式本质都是采用消费端主动拉取的方式 ，即 Consumer 轮询从 Broker 拉取消息。

优点：就是实时性高。

缺点：在于消费端的处理能力有限，当瞬间推送很多消息给消费端时，容易造成消费端的消息积压，时会压垮客户端。

Push 方式里，Consumer 把长轮询的动作封装了，并注册MessageListener，取到消息后，唤醒MessageListener的consumeMessage()来消费，对用户而言，感觉消息是被推送过来的。

Pull 方式里，取消息的过程需要用户自己主动调用，首先通过打算消费的 Topic 拿到 MessageQueue 的，遍历MessageQueue，然后针对每个MessageQueue批量取消息，一次取完后，记录该队列下一次要取的开始offset，直到取完了，再换另一个MessageQueue。

RocketMQ 使用长轮询机制来模拟 Push 效果，算是兼顾了二者的优点。

RabbitMQ与redis的区别是什么呢？

优点：生态丰富，使用者众，有很多人在前面踩坑。AMQP协议的实现，支持多种场景。淘宝的MySQL集群内部有使用它进行通讯，OpenStack开源云平台的通信组件，在金融行业得到运用。

首先说RabbitMQ，RabbitMQ是使用Erlang编写的一个开源的消息队列，本身支持很多的协议：AMQP，XMPP, SMTP, STOMP，也正因如此，它非常重量级，更适合于企业级的开发。同时实现了Broker构架，这意味着消息在发送给客户端时先在中心队列排队。对路由，负载均衡或者数据持久化都有很好的支持。

问题六：消息中间件有哪些 可与OA、ERP集成的免费消息中间件Active Messenger（简称AM）是一款非常实用的企业即时通讯软件。系统提供免费的消息中间件（以组件的方式提供），开放给第三方程序使用。

其次是Redis，Redis是一个基于Key-Value对的NoSQL数据库，开发维护很活跃。虽然它是一个Key-Value数据库存储系统，但它本身支持MQ功能，所以完全可以当做一个轻量级的队列服务来使用。对于RabbitMQ和Redis的入队和出队作，各执行100万次，每10万次记录一次执行时间。测试数据分为128Bytes、512Bytes、1K和10K四个不同大小的数据。实验表明：入队时，当数据比较小时Redis的性能要高于RabbitMQ，而如果数据大小超过了10K，Redis则慢的无法忍受；出队时，无论数据大小，Redis都表现出非常好的性能，而RabbitMQ的出队性能则远低于Redis。

3.3ZeroMQ

ZeroMQ号称快的消息队列系统，尤其针对大吞吐量的需求场景。ZeroMQ能够实现RabbitMQ不擅长的高级/复杂的队列，但是开发人员需要自己组合多种技术框架，技术上的复杂度是对这MQ能够应用成功的挑战。ZeroMQ具有一个独特的非中间件的模式，你不需要安装和运行一个消息或中间件，因为你的应用程序将扮演这个角色。你只需要简单的引用ZeroMQ程序库，可以使用NuGet安装，然后你就可以愉快的在应用程序之间发送消息了。但是ZeroMQ仅提供非持久性的队列，也就是说如果宕机，数据将会丢失。其中，Twitter的Storm 0.9.0以前的版本中默认使用ZeroMQ作为数据流的传输（Storm从0.9版本开始同时支持ZeroMQ和Netty作为传输模块）。

3.4ActiveMQ

ActiveMQ是Apache下的一个子项目。 类似于ZeroMQ，它能够以人和点对点的技术实现队列。同时类似于RabbitMQ，它少量代码就可以高效地实现高级应用场景。

3.5Kafka/Jafka

Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/消息队列系统，而Jafka是在Kafka之上孵化而来的，即Kafka的一个升级版。具有以下特性：快速持久化，可以在O(1)的系统开销下进行消息持久化；高吞吐，在一台普通的上既可以达到10W/s的吞吐速率；完全的分布式系统，Broker、Producer、Consumer都原生自动支持分布式，自动实现负载均衡；支持Hadoop数据并行加载，对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka通过Hadoop的并行加载机制统一了在线和离线的消息处理。Apache Kafka相对于ActiveMQ是一个非常轻量级的消息系统，除了性能非常好之外，还是一个工作良好的分布式系统。

上图中一个topic配置了3个partition。Partition1有两个offset：0和1。Partition2有4个offset。Partition3有1个offset。副本的id和副本所在的机器的id恰好相同。

如果一个topic的副本数为3，那么Kafka将在集群中为每个partition创建3个相同的副本。集群中的每个broker存储一个或多个partition。多个producer和consumer可同时生产和消费数据。

什么是消息中间件

KafkaTPS高因为producer将多个消息合并，批量发向broker。这里会有一些问题，缓存过多消息，gc是个问题，producer发送消息到broker，向业务返回成功，但是producer宕机，导致消息丢失，producer分布式系统，且每台机器是多线程发送，单个producer产生的数据量有限，发送消息单一功能，缓存可由上层业务完成。

消息中间件属于中间件的一种，拥有中间件的主要特点，但是自身的工作机制又具有特殊性，主要特点包括以下6 个方面：(1)异步传送；(2)防御通信；(3)并发执行；(4)日志通信；(5)多种通信方式；(6)应用程序与网络复杂性相隔离。

问题二：消息中间件用在什么地方? 10分 消息中间件为应用系统提供高效、灵活的消息同步和异步传输处理、存储转发、可靠传输。在大规模分布式环境下确保消息安全、可靠、高效送达。

特点：

1.分布式环境下，可靠、高效的消息传输

产品容错能力强，系统崩溃时不会导致消息丢失，确保关键业务数据的可靠传输；支持断点续传和消息流量控制，使消息引擎能够效率地利用网络传输能力。

2.多种集群方式，稳定高效

InforSuite MQ的若干可以组建为多种方式的群组，对外提供消息接收和处理功能。当单个无法满足大负载的消息处理要求，可以使用集群功能将负载分配到多个上，提高系统的处理能力和可扩展性。

产品提供多层次的安全管理功能，包括连接建立时的网络认证，消息传输时的安全性保证，有效保证了连接的合法性和私有数据的保密性。

一般都是银行类大系统，军工或者研究所的大项目，存在很多数据传输的时候需要，可以咨询国内的一些基础中间件公司，就那么几家，中创中间件、东方通中间件、金蝶等，可以多了解

问题三：ja 消息中间件 在什么情况下使用 消息中间件一般两个功能,解耦和异步处理,参考：

问题四：消息中间件有哪些 可与OA、ERP集成的免费消息中间件Active Messenger（简称AM）是一款非常实用的企业即时通讯软件。系统提供免费的消息中间件（以组件的方式提供），开放给第三方程序使用。

TIB/Rendezvous和Microsoft MSMQ等。

问题五：ja消息中间件有哪些 ActiveMQ，是Apache出品，的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,尽管JMS规范出台已经是很久的事情了,但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。

MetaQ，是一款完全的队列模型消息中间件，使用Ja语言编写，可在多种软硬件平台上部署。客户端支持Ja、C++编程语言。单台可支持1万以上个消息队列，通过扩容，队列数几乎可任意横向扩展。每个队列都是持久化、长度无限（取决于磁盘空间大小）、并且可从队列任意位置开始消费

TIB/Rendezvous和Microsoft MSMQ等。

问题七：怎么选择合适的开源消息中间件 能选择的有三消息中间件是指一种软件组件或服务，用于处理分布式系统中异步消息传递的任务。消息中间件通常利用队列或主题等机制对消息进行传递。它可以协调不同系统之间的消息传递，支持消息的异步通信、分布式通信和解耦，具有高可用、高性能、可靠性和可扩展性等优点。消息中间件可用于构建基于的系统、微服务架构和各种分布式应用等。常见的消息中间件包括ActiveMQ、RabbitMQ、Kafka、RocketMQ等。种：

1. ActiveMQ/ApolloMQ

优点：老牌的消息队列，使用Ja语言编写。对JMS支持，采用多线程并发，资源消耗比较大。如果你的主语言是Ja，可以重点考虑。

缺点：所谓鱼和熊掌不可兼得，放弃了一些消息中间件的灵活性，使用的场景较窄，需关注你的业务模式是否契合，否则山寨变相使用很别扭。除此之外，RocketMQ没有.NET下的客户端可用。RocketMQ身出名门，但使用者不多，生态较小，毕竟消息量能达到这种体量的公司不多，你也可以直接去购买阿里云的消息服务。Kafka生态完善，其代码是用Scala语言写成，可靠性比RocketMQ低一些。

3. RabbitMQ

缺点：Erlang代码你Hold得住不? 虽然Erlang是天然集群化的，但RabbitMQ在高可用方面做起来还不是特别得心应手，别相信广告。

问题八：什么是消息中间件，比如tonglink主要起什么作用 TongLINK/Q（简称TLQ）的主要功能是在应用程序之间海供可靠的消息传送，这些消息可以在不同的网络协议、不同的计算机系统和不同的应用软件之间传递。TongLINK/Q提供一个简单易用、高效可靠的分布式应用开发和运行平台，面向要求可靠消息（信息）传输的客户，即包括金融、电信、交通、能源、电子政务等高端客户，也包括大量中小企业客户。

中间件品牌东方通中间件

Kafka使用场景

消息被发送到队列中。“消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。

Kafka作为一个传统的消息的替代品表现得非常出色。使用消息有各种各样的原因(将处理与数据生成器解耦，缓冲未处理的消息，等等)。与大多数消息传递系统相比，Kafka有更好的吞吐量、内置分区、和容错性，这使得它成为大规模消息处理应用的一个很好的解决方案。

在此之前，淘宝有一款消息中间件名为 Notify ，目前已经逐步被Metaq所取代。

根据我们的经验，消息传递的使用通常是相对较低的吞吐量，但可能需要较低的端到端延迟，并且常常依赖于Kafka提供的强大的持久性保证。

在这个领域，Kafka可以与ActiveMQ或RabbitMQ等传统消息传递系统相媲美。

Kafka初的用例是能够重建一个用户活动跟踪管道，作为一组实时发布-提要。这意味着站点活动(页面浏览、搜索或用户可能采取的其他作)被发布到中心主题，每个活动类型有一个主题。这些提要可用于一系列用例，包括实时处理、实时监视和加载到Hadoop或脱机数据仓库系统以进行脱机处理和报告。

活动跟踪通常是非常大的量，因为许多活动消息会生成的每个用户页面视图。

Kafka通常用于运行数据。这涉及聚合来自分布式应用程序的统计信息，以生成集中的作数据提要。

很多Kafka的用户在处理数据的管道中都有多个阶段，原始的输入数据会从Kafka的主题中被消费，然后被聚合、充实或者转换成新的主题进行进一步的消费或者后续的处理。例如，文章的处理管道可能会从RSS源抓取文章内容，并将其发布到“文章”主题;进一步的处理可能会规范化或删除该内容，并将清理后的文章内容发布到新主题;一个处理阶段可能会尝试向用户这些内容。这种处理管道基于单个主题创建实时数据流图。从0.10.0.0开始，Apache Kafka提供了一个轻量级但功能强大的流处理库，名为Kafka Streams，用于执行上述的数据处理。除了Kafka Streams，其他开源流处理工具包括Apache Storm和Apache Samza。

RocketMQ

消息中间件是指一种软件组件或服务，用于处理分布式系统中异步消息传递的任务。消息中间件通常利用队列或主题等机制对消息进行传递。它可以协调不同系统之间的消息传递，支持消息的异步通信、分布式通信和解耦，具有高可用、高性能、可靠性和可扩展性等优点。消息中间件可用于构建基于的系统、微服务架构和各种分布式应用等。常见的消息中间件包括ActiveMQ、RabbitMQ、Kafka、RocketMQ等。

RocketMQ在阿里内部叫做Metaq（早名为Metamorphosis，中文意思 变形记问题一：消息中间件是什么? 目前对消息中间件(MOM)的定义还未形成统一的行业标准，我国也正加快对消息中间件技术的标准化研究工作。一般认为，消息中间件是一种由消息传送机制或消息队列模式组成的中间件技术，利用高效可靠的消息传递机制进行平台无关的数据交流，并基于数据通信来进行分布式系统的集成。与其它中间件技术不同（例如ORB 和RPC），一般来说，消息中间件并不要求系统具备一个可靠的底部传输层，而是通过以消息的形式收发应用程序数据来连接运行于不同系统上的应用程序。信息可以同步传送，也支持异步传送。在异步方式下，应用程序并不需要消息即时即刻传送到对方，只是由MOM 确保把信息以鼎息的方式传送到适当的目的地，并且只传一次。 ，是作家卡夫卡的中篇代表作，可见是为了致敬Kafka）。

RocketMQ是Metaq3.0之后的开源版本。

Metaq终源于Kafka，早起借鉴了Kafka很多的设计。但是由于Kafka是Scale语言编写而阿里系主要使用Ja，且无法满足阿里的电商、金融业务场景，所以誓嘉（花名）团队用Ja重新造轮子，并做了大量的改造和优化。

代的Notify主要使用了推模型，解决了事务消息；第二代的MetaQ主要使用了拉模型，解决了顺序消息和海量堆积的问题。相比起Kafka使用的Scale语言编写，RabbitMQ 使用Erlang语言编写，基于Ja的RocketMQ开源后更容易被广泛的研究，以及其他大厂定制开发。

执行流程：

RocketMQ 消息有两种模式，一种是Push模式（MQPushConsumer），即MQ主动向消费端推送；另外一种是Pull模式（MQPullConsumer），即消费端在需要时，主动到MQ 拉取。但在具体实现时， Push和Pull模式本质都是采用消费端主动拉取的方式 ，即 Consumer 轮询从 Broker 拉取消息。

优点：就是实时性高。

缺点：在于消费端的处理能力有限，当瞬间推送很多消息给消费端时，容易造成消费端的消息积压，时会压垮客户端。

Push 方式里，Consumer 把长轮询的动作封装了，并注册MessageListener，取到消息后，唤醒MessageListener的consumeMessage()来消费，对用户而言，感觉消息是被推送过来的。

Pull 方式里，取消息的过程需要用户自己主动调用，首先通过打算消费的 Topic 拿到 MessageQueue 的，遍历MessageQueue，然后针对每个MessageQueue批量取消息，一次取完后，记录该队列下一次要取的开始offset，直到取完了，再换另一个MessageQueue。

RocketMQ 使用长轮询机制来模拟 Push 效果，算是兼顾了二者的优点。

Kafka使用场景

Kafka可以作为分布式系统的一种外部提交日志。日志有助于在之间数据，并充当故障的重新同步机制，以恢复它们的数据。Kafka的日志压缩特性支持这种用法。在这种用法中，Kafka类似于Apache BookKeeper项目。

Kafka作为一个传统的消息的替代品表现得非常出色。使用消息有各种各样的原因(将处理与数据生成器解耦，缓冲未处理的消息，等等)。与大多数消息传递系统相比，Kafka有更好的吞吐量、内置分区、和容错性，这使得它成为大规模消息处理应用的一个很好的解决方案。

根据我们的经验，消息传递的使用通常是相对较低的吞吐量，但可能需要较低的端到端延迟，并且常常依赖于Kafka提供的强大的持久性保证。

在这个领域，Kafka可以与ActiveMQ或RabbitMQ等传统消息传递系统相媲美。

Kafka初的用例是能够重建一个用户活动跟踪管道，作为一组实时发布-提要。这意味着站点活动(页面浏览、搜索或用户可能采取的其他作)被发布到中心主题，每个活动类型有一个主题。这些提要可用于一系列3.全方位的安全机制保障用例，包括实时处理、实时监视和加载到Hadoop或脱机数据仓库系统以进行脱机处理和报告。

活动跟踪通常是非常大的量，因为许多活动消息会生成的每个用户页面视图。

Kafka通常用于运行数据。这涉及聚合来自分布式应用程序的统计信息，以生成集中的作数据提要。

很多Kafka的用户在处理数据的管道中都有多个阶段，原始的输入数据会从Kafka的主题中被消费，然后被聚合、充实或者转换成新的主题进行进一步的消费或者后续的处理。例如，文章的处理管道可能会从RSS源抓取文章内容，并将其发布到“文章”主题;进一步的处理可能会规范化或删除该内容，并将清理后的文章内容发布到新主题;一个处理阶段可能会尝试向用户这些内容。这种处理管道基于单个主题创建实时数据流图。从0.10.0.0开始，Apache Kafka提供了一个轻量级但功能强大的流处理库，名为Kafka Streams，用于执行上述的数据处理。除了Kafka Streams，其他开源流处理工具包括Apache Storm和Apache Samza。

kafka是什么意思

kafka的架构师jay kreps对于kafka的名称由来是这样讲的，由于jay kreps非常喜欢franz kafka。并且觉得kafka这个名字很酷，因此取了个和消息传递系统完全不相干的名称kafka，该名字并没有特别的含义。

kafka的意思是：卡夫卡。

kafka的架构师jay kreps对于kafka的名称由来是这样讲的，由于jay kreps非常喜欢franz kafka。并且觉得kafka这个名字很酷，因此取了个和消息传递系统完全不相干的名称kafka，该名字并没有特别的含义。

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Ja编写。Kafka是一种高吞吐量的分布式发布消息系统，它可以处理消费者在网站中的所有动作流数据。

这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。

kafka的诞生，是为了解决linkedin的数据管道问题，起初linkedin采用了ActiveMQ来进行数据交换，大约是在2010年前后，那时的ActiveMQ还远远无法满足linkedin对数据传递系统的要求。

经常由于各种缺陷而导致消息阻塞或者服务无常访问，为了能够解决这个问题，linkedin决定研发自己的消息传递系统，当时linkedin的首席架构师jay kreps便开始组织团队进行消息传递系统的研发。