Apache Kafka:分布式消息传递系统
Apache Storm:实时消息处理
我们如何在实时数据管道中使用这两种技术来处理事件数据?
在实时数据管道方面,在我看来两者做的工作是一样的。我们如何在数据管道上使用这两种技术?
发布于 2014-02-16 15:53:09
您可以使用Apache Kafka作为分布式的健壮队列,它可以处理大量数据,并使您能够将消息从一个端点传递到另一个端点。
风暴不是一个队列。它是一个具有分布式实时处理能力的系统,这意味着你可以并行地对实时数据执行所有类型的操作。
这些工具的常见流程(据我所知)如下:
实时系统--> Kafka -->暴风--> NoSql --> BI(可选)
因此,您的实时应用程序可以处理大量数据,并将其发送到Kafka队列。Storm从kafka中提取数据,并应用一些所需的操作。此时,您通常希望从这些数据中获得一些好处,因此您可以将其发送到某个Nosql db以进行额外的BI计算,或者您可以简单地从任何其他系统查询此NoSql。
发布于 2017-08-20 03:29:06
我知道这是一个较老的线程,Apache Kafka和Storm的比较在编写时是有效和正确的,但值得注意的是,Apache Kafka在过去几年中发生了很大变化,自0.10版本(2016年4月)以来,Kafka包含了一个Kafka Streams API,它提供流处理功能,而不需要任何额外的软件,如Storm。Kafka还包括用于连接到各种数据源和接收器(目的地)的Connect API。
公告博客- https://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simple/
最新的Apache文档- https://kafka.apache.org/documentation/streams/
在0.11Kafka中,流处理功能得到了进一步扩展,提供了只需一次的语义和事务。
https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it/
发布于 2015-12-31 15:22:59
正如每个人向您解释的那样,Apache Kafka:是连续消息队列
Apache Storm:持续处理工具
在这方面,Kafka将使用API从FB、Twitter等任何网站获取数据,并使用Apache Storm处理这些数据,您可以将处理后的数据存储在任何您喜欢的数据库中。
https://github.com/miguno/kafka-storm-starter
只要跟随它,你就会有一些想法
https://stackoverflow.com/questions/21808529
复制相似问题