00:00
对比市面上所有成熟的开M系统的消息ID方案,我们得出一个结论,没有一个产品适用单一ID方案。实现I'M系统里消息ID看似简单,实际上它是消息可靠性的根基,却重要靠他排序,要靠他分页查询要靠它,离线消息同步还要靠它,一个ID想同时干这些事干不了。本次分享如何用KMSDDMSD的双ID体系,彻底解M中聊天消息的去重和排序两个维度的需求。本文所有内容均基于真实项目源码。为什么一个ID不够?M系统对消息ID有要求,主要有五个局唯一、趋势递增、去重能力分布式生成客户端参与一个ID想同时满足5个条件ju了可以做到全局唯一去重分布式数据库自增ID可以做到趋势递增,排序时间戳可以做到趋势递增,但他们都不能同时满足上述的5个。
01:01
的条件,所以答案是一个ID确实不够,所以我的系统用了两个ID即可,And t SG还SG各管各的。两个ID在消息流转的每一步都有明确的分工,互不干扰。为什么UV7不能替代双ID?有人可能会问,UV7是时间排序的RFC95622024年正式标准,一个ID既能去重又能排序,不就能替代双ID了吗?九尾德17的结构是48位毫秒时间戳加4位版本加12位随机加2位变体加62位随机。理论上先发的消息就的V71定比后发的小,但实际用在I用系统里有三个致命问题。一排序精度不够,二、做不了范围查询,三、索引膨胀。所以结论是只有V7在不太需要精确排序、数据量不大的场景下可以用,但在看这种高频加严格有序加海量数据的场景下,双ID体系仍然是更优解。
02:03
在确定用雪花算法之前,我对比过业界主流的分布式ID方案,这些方案有就用雪花算法Julie的list segment, 美团用的ladyin科数据库自增IDM'M消息ID的核心要求是分布式加有序加高性能,只有雪花算法同时满足这三个条件,Le segment依赖数据库在开门峰值场景下会成为瓶颈,Julie的随机尾部不适合做分页查询,连迪的网络往返开销在高并发下不可接受,业界大厂的选择也验证了这一点。Twitter特发明了雪花算法discord,连斯泰ground的分布式ID都基于雪花算法的思想,某些消息ID也是时间戳家序列号的思路,Clientn tend与客户端生成管去重。为什么让客户端生成ID?系统有个特殊需求,用户发消息的时候,不能等服务端返回ad再显示你发一条你。
03:03
好聊天,气泡要立刻出现,不能转圈,等200ms等服务端生成ID再显示,这意味着消息的临时ID必须在客户端生成。Juli是最简单的方案,不需要和服务端通信,本地就能生成,碰撞概率可以忽略不计。MSG的雪花算法,服务端生成管排序MSG为什么用雪花算法?可MSG解决了去重问题,但排序问题他搞不定。UA的V4是随机的,先发的消息就有可能比后发的大也可能小,完全没法排序。I'M系统对排序的要求非常严格,消息列表分页未读消息技术、离线消息同步mongo DB存储选花算法S菲克完美满足这些需求。全局唯一,趋势递增,分布式友好可反解析chat绘话ID不传输本地计算。严格来说,Chart不属于消息ID,但它是I系统。
04:03
同理,第三个重要的ID和可NTSGSG一起构成ID体系的三角。Chat的作用主要是标识一个会话聊天窗口,它并不在网络传输它的用途,消息存储分区。未读技术消息查询会话列表。消息ID方案的设计原则回顾三个ID的分工,可以提炼出几条ID设计的通用原则,原则一,1个ID指干意见事,原则二,谁创建谁负责,原则三,能算就不传。原则4 ID格式要考虑存储和索引,原则5,预生成优化是值得的。
我来说两句