问kafka和nifi的区别

EN

NiFi和Kafka的互补之处在于，NiFi不是像Apache Kafka那样的消息队列。相反，Apache NiFi是一个数据流管理又称数据物流工具。

让我们假设这样的场景:您有消息( JSON格式)通过Kafka流式传输，并且您希望验证消息以检查消息是否包含所有字段，如果它们有效，则希望消息到达HBase。

在这里，NiFi可以通过以下方法帮助您：

• NiFi具有ConsumeKafka processor，您可以使用Kafka broker和组名对其进行配置。
• 使用NiFi processor ValidateRecord检查收到的消息是否都是有效的
• 如果它们有效，则可以将输出连接到Kafka

总而言之，NiFi从根本上阻止了您编写大量的样板代码。在本例中，是一个用于执行模式验证和写入HBase的自定义逻辑。

在Horthonworks community questions上找到了一个有趣的答案，为了完整起见，我在这里分享它：

• Apache NiFi和Apache Kafka是两个不同的工具，具有不同的用例，可能会有一些重叠。以下是我对这两个项目的目的的理解。

NiFi是"“

它是一个可视化工具(带有REST api)，它实现了flow-based programming，使用户能够创建流，这些流将从大量不同的源获取数据，在处理数据时对数据执行丰富、路由等操作，并将结果输出到大量目的地。

它是发布-订阅模式的分布式实现，允许开发人员使用不同的语言并跨大量计算机将程序相互连接。它更像是分布式计算的构建块，而不是处理数据的一体化解决方案。

作为前面答案的补充，这里有一个宝贵的资源，用图例非常清楚地解释了如何结合这两种技术，特别是为什么要这样做。

我发现它非常有价值，当我需要在这个主题上重温记忆时，它是一个goto参考。

Kafka / NiFi : Better together

简而言之：

NiFi和Kafka是互补的

NiFi

·提供数据流解决方案

·从边缘到核心的集中管理

·强大的可追溯性，从数据诞生时开始提供事件级数据来源

·交互式命令和控制

·实时操作可见性

·数据流管理，包括优先级排序、背压和边缘智能

·全局数据流的可视化表示

Kafka

·提供持久的流存储

·低延迟

·分布式数据持久性

·生产者和消费者的分散管理

·还有更多……