首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

ACP互联网架构认证笔记-MQ消息队列服务

MQ是消息服务中间件,基于高可用分布式集群技术,是消费模式基于发布订阅模式的消息系统。支持Java,C++以及.NET,PHP,Python,为分布式应用系统提供异步解耦、削峰填谷的能力,具备海量消息堆积、高吞吐、可靠重试等特性。具有消息查询,消息回溯(不是消息撤回,也不支持消息撤回),消息轨迹查询,堆积监控报警功能。 MQ协议支持接入方式 : TCP、HTTP(RESTful 风格)、MQTT。MQ支持公网访问,但可用性较低。 MQ应用场景 : 分布式事务,物联网应用,实时计算(将产生的数据实时流入到实时计算引擎来实现),同步大规模缓存。 实时计算引擎一般有 : Spark / Storm / EMR / ARMS / BeamRunner。 MQ拥有管理工具 : Web控制台,Open API,mqadmin命令集。拥有微消息队列(LMQ),RocketMQ消息队列,Kafka消息队列,跨域中继服务(CRS)等组件。 Web控制台提供消息查询、消息轨迹查询、重置消费位点、资源统计、监控报警等操作。消息查询有三种方式 :** 根据Message ID(精确查询),Message Key(模糊查询)以及Topic查询(范围查询),HTTP消息目前只支持Message ID和Topic两种查询方式。** 消息轨迹查询只支持TCP和HTTP协议,可追踪消息从生产者发出到消费者消费的整个链路中各个相关节点的时间地点。 重置消费位点可跳过堆积的消息,即不想消费这部分消息,或者只想消费某个时间点后的消息(这些消息不论之前是否消费过)。 资源报表可对消息发送和消息消费的数据进行统计,暂不支持HTTP消费数据的统计查询。 监控报警一般用在消息堆积数或者延迟时间超过阈值之后,对报警接收人发送短信,如果发现消息堆积很多,可检查阈值是否设置过小导致消息堆积,可调整业务代码或者对消费者进行扩容,可使用jstack查看是否消费线程阻塞。 微消息队列(LMQ)基于MQTT(Message Queuing Telemetry Transport 消息队列遥测传输)协议,标准协议端口为1883,支持加密SSL,WebSocket,Flash接入方式。协议重要部分主要分为 : MQ Core Service(负责底层的消息存储和分发),MQ私有协议服务器以及MQTT协议网关服务器(负责对客户端提供服务和协议转换)。主要使用场景有 : 直播互动、车联网、金融支付、即时聊天等。协议相关 : QoS(Quality of Service)指代消息传输的服务质量。它包括QoS0(最多分发一次)、QoS1(至少达到一次)和QoS2(仅分发一次)三种级别。cleanSession标识客户端建立TCP连接后是否关心之前状态(true or false)。 MQTT可进行实例管理(查看消息收发TPS、同时在线连接数、订阅关系数等信息,可设置实例报警),可申请MQTT Topic,可为Topic申请MQTT Group ID(一组逻辑功能完全一致的节点共用的组名,代表一类相同功能的设备,必须拥有Topic的读写权限)。可进行签名计算和签名生成。 MQTT可获取离线消息,可主动拉取离线消息,客户端每次拉取消息数量最多为30条,拉取请求的最大频率限制为5次/秒。离线消息优先级低,对其进行有限和最终能处理即可,要求比较实时。 MQTT可获取客户端上下线事件(上下线事件触发时,会向后端MQ推送一条上下线消息,通过订阅这条消息获取),上下线事件类型一般放在MQ的Tag中,有三种状态 : connect(客户端上线),disconnect(客户端主动断开连接),tcpclean(实际的TCP连接断开)。tcpclean代表客户端网络层连接的真实断开,判断客户端下线请使用tcpclean事件。 MQTT通过Token鉴权服务向客户端提供访问权限。客户端需要采用MQTT控制报文以同步发送模式并且QoS必须为1,来上传Token。客户端应该对Token做好持久化,监听Proxy下推的Token失效的通知消息,Token失效必须重新申请。 LMQ的Topic,ClientId长度最大为64个字符,消息大小最大为64K,消息保存时间最长为3天,单个客户端订阅Topic数量最大为30个(超过该限制数量的Topic会被丢弃),消息顺序性为上行顺序。 跨域中继服务(CRS,跨域哦,实现服务发布与订阅,实现不同网络的服务互通)提供三种MQ消息发送方式 :可靠同步发送(发出消息响应后才能发下一个消息,应用场景广,如重要通知邮件、报名短信通知、营销短信系统),可靠异步发送(不需要等待响应即可发下一个消息,应用场景一般是耗时长,对RT响应敏感的业务,如视频上传后通知转码服务,转码后通知推送转码结果),One Way(单向发送,不需要响应的方式,耗时超短,对可靠性要求不高的场

03

RocketMQ和Kafka应用场景与选型[通俗易懂]

1、适用场景 kafka适合日志处理 rocketmq适合业务处理 结论:两者没有区别,根据具体业务定夺 2、性能 kafka单机写入TPS号称在百万条/秒 rocketmq大约在10万条/秒 结论:追求性能方面,kafka单机性能更高 3、可靠性 kafka使用异步刷盘方式,异步Replication rocketmq支持异步/同步刷盘,异步/同步Replication 结论:rocketmq所支持的同步方式提升了数据的可靠性 4、实时性 kafka和rocketmq均支持pull长轮询,rocketmq消息实时性更高 结论:rocketmq胜出 5、支持的队列数 kafka单机超过64个队列/分区,消息发送性能降低严重 rocketmq单机支持最高5W个队列,性能稳定 结论:长远看,rocketmq胜出, 6、消息顺序性 kafka某些配置下,支持消息顺序,但是一台Broker宕机后,就会产生消息乱序 rocketmq支持严格的消息顺序,一台Broker宕机后,发送消息会失败,但是不会乱序 结论:rocketmq胜出 7、消息失败重试机制 kafka消费失败不支持重试 rocketmq消费失败支持定时重试,每次重试间隔时间顺延 8、定时/延时消息 kafka不支持定时消息 rocketmq支持定时消息 9、分布式事务消息 kafka不支持分布式事务消息 rocketmq未来会支持 10、消息查询机制 kafka不支持消息查询 rocketmq支持根据message id查询消息,也支持根据消息内容查询消息 11、消息回溯 kafka可以按照offset回溯消息 rocketmq支持按照时间回溯消息,例如从一天之前的某时某分开始重新消费消息 问题一:push和pull模式 push模式:客户端与服务端建立连接后,当服务端有消息时,将消息推送到客户端 pull模式:客户端不断的轮询请求服务端,来获取新的消息 在具体实现时,push和pull模式都是采用消费端主动拉取的方式,即consumer轮询从broker拉取消息 区别: push 方式中,consumer把轮询过程封装了,并注册了MessageListener监听器,取到消息后,唤醒MessageListener的consumerMessage来消费,用户而言,觉得消息被推送过来的 pull方式中,取消息的过程需要用户自己写,首先通过打算消费的Topic拿到MessageQueue的集合,遍历MessageQueue集合,然后针对每个MessageQueue批量获取消息,一次取完之后,记录该队列下一次要取的开始offset,直到取完了,再换另一个MessageQueue 疑问:既然都是采用pull方式实现,rocketmq怎么保证消息的实时性? 长轮询:rocketmq时采用长轮询的方式实现的,指的是在请求的过程中,若是服务器端数据并没有更新,那么则将这个连接挂起,直到服务器推送新的数据,再返回,然后进入循环周期 客户端像传统轮询一样从服务端请求数据,服务端会阻塞请求不会立刻返回,直到有数据或者超时才返回给客户端,然后关闭连接,客户端处理完响应信息后再向服务器发送新的请求

03
领券