「物联网技术」EMQX 的MQTT 和 Kafka 对比

MQTT与Kafka完全不同。MQTT是由OASIS技术委员会的成员（大多数是IBM和Microsoft的高级工程师）开发的协议和技术标准。Kafka是LinkedIn首次实现的开源流平台。2011年开放源码后被Apache孵化器孵化，成为Apache软件基金会的顶级项目。

两者之间唯一的联系是它们都与发布/订阅模式相关。MQTT是基于发布/订阅模式的消息传递协议，而ApacheKafka的生产和消费过程也是发布/订阅模式的一部分。如果我们实现基于MQTT协议的消息代理，从发布/订阅模式的角度来看，这个MQTT代理是否等同于Kafka？答案仍然是否定的。

虽然Kafka也是一个基于发布/订阅模式的消息传递系统，但它也被称为“分布式提交日志”或“分布式流平台”。它的主要功能是实现分布式持久数据保存。Kafka的数据单元可以理解为数据库中的一行“数据”或一条“记录”。Kafka按主题分类。当Kafka的制作者发布特定主题的消息时，消费者就消费该特定主题的消息。事实上，生产者和消费者可以理解为发布者和订阅者，主题就像数据库中的一个表。每个主题包含多个分区，分区可以分布在不同的服务器上。也就是说，通过这种方式存储和读取分布式数据。Kafka的分布式体系结构有助于读写系统的扩展和维护（例如，通过备份服务器实现冗余备份，通过构建多个服务器节点实现性能改进）。在许多有大数据分析需求的大型企业中，Kafka将被用作数据流处理平台。

MQTT最初是为物联网设备的网络访问而设计的。大多数物联网设备都是低性能、低功耗的计算机设备，网络连接质量不可靠。因此，在设计协议时需要考虑以下几个关键点：

• 该协议应该足够轻量级，以允许嵌入式设备快速解析和响应。
• 足够灵活，以支持物联网设备和服务的多样化。
• 它应该被设计成异步消息协议而不是异步协议。这是因为大多数物联网设备的网络延迟很可能非常不稳定。如果使用同步消息协议，IoT设备需要等待来自服务器的响应。为大量物联网设备提供服务显然是非常不现实的。
• 必须是双向通信，并且服务器和客户端应该能够互相发送消息。

MQTT协议完美地满足了上述要求，最新版本的MQTT v5.0协议已经过优化，使其比之前的v3.1.1版本更灵活，占用的带宽更少。

对于基于mqtt的消息代理和Kafka的区别，EMQ先生认为这是因为他们的关注点不同。Kafka专注于数据的存储和读取，针对高实时性能的流式数据处理场景，而MQTT Broker则侧重于客户端和服务器之间的通信。

MQTT broker和Kafka采用的消息交换模式非常相似，因此将它们结合起来显然是个好主意。事实上，一些MQTT代理，例如EMQ X MQTT broker, 已经实现了MQTT-broker和Kafka之间的桥接。MQTT-broker用于快速接收和处理来自大量物联网设备的消息，Kafka收集并存储这些大量数据并将其发送给数据分析员来分析和处理消息。

本文：http://jiagoushi.pro/node/1098

讨论：请加入知识星球【首席架构师圈】或者小号【jiagoushi_pro】