专栏首页架构师之路58到家通用实时消息平台架构细节(Qcon2016)

58到家通用实时消息平台架构细节(Qcon2016)

2016Qcon北京,业务核心架构场,《58到家通用实时消息平台架构细节》。

一、解决什么问题 + 难点

解决什么业务问题

(1)端到云的实时上报需求:58速运司机端GPS实时上报

(2)云到端的实时推送需求:58速运司机订单实时推送

(3)端到端的聊天消息需求:用户、商户、客服之间的聊天沟通

难点:

(1)APP无线环境下消息可达性

(2)通用性,平台实现尽量与业务解耦

二、传统解决方案与潜在不足

【端到云:http轮询上报GPS消息】

方案一:直接通过业务线web-server写DB

方案二:通用web-server层调用业务服务层写DB

潜在不足

(1)http短连接代价高(反复创建与销毁连接)

(2)web-server层吞吐量较低(每秒处理千级别请求)

【云到端:通过第三方push或者推送服务】

方案一:通过APNs或者米推等第三方推送

方案二:通过自己搭建mqtt服务推送

潜在不足

(1)第三方可达性与实时性无法保证,第三方会进行推送限速

(2)mqtt可用性是个问题

【端到端:结合上面两种方法实现】

传统方案往往可以通过结合【端到云】与【云到端】来结合解决【端到端】的实时消息推送问题。

三、通用实时消息平台实现细节

业务的分析与抽象:司机、用户、商家、客服均为“在线”业务

【端到云的优化】

传统方案潜在的问题:http轮询效率不高,web-server性能有限

优化TIPS:消息平台使用tcp长连接(如上图)

潜在的问题:消息平台与业务线app-server耦合,需要switch case业务线类型来分发投递消息,新增业务线需要新增RPC调用(如上图)

优化TIPS:使用消息总线msg-queue解耦(如下图)

可以看到,使用消息总线后,新增消息发送方,消息平台只需要配置消息类型与消息总线主题的映射关系,新增的app-server消费方订阅新的主题即可,实现消息平台与业务的解耦。

【云到端的优化】

潜在的问题:可用性问题与第三方限速

优化TIPS:自己提供消息平台集群,提供RPC接口,实现“云到端”的消息通道

这里要注意的是,“端到云”使用消息总线,是为了业务解耦。“云到端”直接使用RPC接口,也是为了业务解耦,新增消息推送方,消息平台无需改动代码。

潜在的问题:不少司机推送订单无回复,抢单率比预期的低

优化TIPS:引入状态实时存储,只有“在线”状态的用户才推送消息

【端到端的优化】

如果业务无关,则直接通过tcp通道投递;如果业务相关,发送方先来一个“端到云”的投递(通过mq),业务服务器处理再反向来一个“云到端”的投递(RPC)给接收方

潜在问题:如果接收方不在线怎么办

优化TIPS:增加DB存储离线消息

潜在的问题:无线环境下经常网络不稳(例如进出电梯断网),消息经常丢失

优化TIPS:消息平台收到消息先落地数据库,接收方收到后应用层ACK再删除,以保证不丢失

如上图(本文最重要的2张图之一),整个消息投递流程为:

(1)发送发将消息发给消息平台

(2)消息平台先将消息落地DB

(3)消息平台回复发送方消息发送成功(此时和接收方是否接到无关)

(3)与此同时,并行的把消息投递给接收方(如果不在线就存离线了)

(4)接收方应用层ACK表示收到了消息

(5)消息平台将消息删除

(6)告之接收方ACK已经成功处理

可以看到,是使用“应用层ACK来解决消息可达性问题的”

潜在问题:发送方没有收到第3步骤中的消息平台回复怎么办?

优化TIPS:发送方重发(服务器无状态)

潜在问题:接收方收到重发的冗余消息怎么办?

优化TIPS:接收方去重(可以做到服务端完全无状态,只需要简单投递消息即可)

【分层架构说明】

整个系统的分层架构如上图(本文最重要的2张图之二),整个消息平台系统由:

(1)消息平台在APP里的msg-sdk,向APP提供帅气的接口

(2)msg-gate,整个消息平台的tcp接入门户,保持tcp长连接,初步攻防,加解密,压缩解压缩

(3)msg-logic,整个消息平台逻辑处理的部分

(4)redis,高可用redis集群存储用户在线状态online/offline,以及用户在哪一台msg-gate接入(如果在线)

(5)DB,存储离线消息

非消息平台的几个业务部分

(1)APP:业务方APP,可以有多个,通过msg-sdk来接入消息平台

(2)mq:消息平台通过mq来给业务方服务器发“端到云”的消息

(3)app-server:业务方后端,可以有多个,通过mq接收“端到云”的消息,通过RPC发送“云到端”的消息

【对外提供的接口说明】

消息平台对业务方提供的接口是很少很通用的接口。

msg-sdk对APP提供的核心接口有:

(1)login:接入消息平台

(2)logout:登出消息平台

(3)c2s:发送client to server“端到云”的消息

(4)c2c:发送client to client“端到端”的消息

(5)get-offline-msg:拉取离线消息

(6)on-msg-recieved:收到消息的callback回调接口

消息平台对app-server提供的核心接口有:

(1)s2c:发送server to client“云到端”的消息

其他业务方不需要关注,是msg-sdk与消息平台之间的内部接口有:

(1)keepalive:用于msg-sdk与消息平台的连接保持(对业务方透明)

(2)c2c-ack:用户c2c接口的应用层ack接口(对业务方透明)

【如何实现跨帐号体系的聊天】

既然是通用的消息平台,如何实现跨帐号体系的消息发送呢(即如何实现qq与旺旺的聊天)?

解决方案:不再使用uid作为整个系统运行的key,而使用domain+uid,或者appid+uid来作为整个系统运行的key

潜在耦合点:这样的话,login接口的逻辑处理,消息平台需要switch case (domain或者appid)来进行不同的登录验证,与业务有一定的耦合,不过新增帐号体系的频度很低,远比新增消息类型低

【协议的扩展性设计】

APP本质是cs架构,一旦放出去的版本就很难收回来,其兼容系要求远比bs架构难,如何做到新增功能的同时,还能方便的兼容历史旧版APP呢?

(1)如何方便的增加接口?

解决方案:协议使用定长包头 + 变长包体,使用命令号cmd来扩展新接口【这个变化对业务层是透明的,是msg-sdk与消息平台之间的事情】

(2)对于同一个接口,能否增加参数,而不影响旧版本的APP?

解决方案:使用可扩展的序列化协议,例如protobuffer【protobuffer这个东西也对业务线透明】

(3)对于业务方,有很多种类的消息类型,有很多复杂的业务需求,如何保证业务扩展性的同时,又不会增加消息平台的复杂性,并对旧版本APP兼容?

例如业务线可能有这样的潜在需求:

a)推送一个运营消息

b)推送消息内容支持字体、字号、加粗、颜色

c)推送消息支持图片

d)业务支持“窗口震动”,以及“对方正在输入......”等需求

解决方案:使用可扩展的消息体协议(对消息平台透明),例如xml/json来支持可扩展的多样消息类型,并对旧版本APP兼容

<msg>

<type>1</type>

<fond>宋体</font>

<content>hello, world!</content>

<pic>http://pic.daojia.com/hello.jpg</pic>

</msg>

使用这种消息内容协议,能保证:扩展性好、旧版本兼容、对消息平台透明等诸多好处,强烈建议使用

四、分布式架构细节

抱歉,主持人提醒时间已到,分布式架构扩展性、负载均衡性、可用性、一致性的问题线下和大家分享,先放一个分布式架构图吧:

<广告>

如果你读到了这里,说明对消息平台还是有点兴趣的,58到家消息平台团队只有一个同学,奇缺人,欢迎有志之士加入

一些说明:base北京,核心团队,技术导向,Java方向,和58沈剑一个团队

加入方式:(1)直接在文章下面留言(2)在公众号回复“招聘”获取加盟密钥

</广告完毕>

五、总结

(1)“端到云”消息投递:TCP消息通道,消息总线业务解耦

(2)“云到端”消息投递:提供RPC接口,引入状态存储

(3)“端到端”消息投递步骤如下图

(4)“端到端”消息投递技巧

a)先存离线消息防丢失

b)ACK机制保证可达

c)发送方消息重发

d)接收方消息去重

(5)可扩展协议设计

a)定长包头,变长包体,随时增加接口

b)可扩展序列化协议,随时变化接口

c)可扩展消息协议,随时增加类型

(6)支持跨帐号体系聊天(多个域):使用domain(或者appid)+uid作为综合key

(7)分层架构如下图

本文分享自微信公众号 - 架构师之路(road5858),作者:58沈剑

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-04-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 以IM为例看58同城典型技术架构演变

    孙玄@奈学教育
  • 58同城高性能移动Push推送平台架构演进之路

    关于作者:孙玄,58赶集集团系统架构师,技术负责人,技术委员会架构组主任,也是58同城即时通讯、C2C技术负责人,负责58核心系统的架构以及优化工作。分布式系统...

    后端技术探索
  • 基于微服务的企业应用架构设计范式

    各位群友,大家好。今天要和大家分享的话题是“基于微服务的企业应用架构设计范式”。 ? 这个话题曾经分别在PWorld大会和QCon2016大会上做过分享,得到不...

    yuanyi928
  • 安居客 Android APP 走向平台化

    安居客 Android App 距离上次的模块化/组件化重构已经两年多了,重构之后很好的支撑了两年多以来的业务发展。但这个世界总是在向前走的,没有任何一种架构能...

    张磊BARON
  • 安居客 Android App 走向平台化

    安居客 Android App 距离上次的模块化/组件化重构已经两年多了,重构之后很好的支撑了两年多以来的业务发展。但这个世界总是在向前走的,没有任何一种架构能...

    张磊BARON
  • MongoDB在58同城的应用实践

    孙玄@奈学教育
  • 框架组件,究竟要不要自研?

    18年规划系统介绍58到家的技术体系,15年加盟58到家后,架构部正好也是负责范围的一部分,故谈一谈自己的想法,个人观点:

    Java架构师必看
  • “懒人经济”大爆发!冲击万亿家政市场,技术及制度变革是关键

    因为懒得走路,于是发明了汽车、火车和飞机;因为懒得爬楼梯,于是为大楼加上了电梯;因为懒于应付琐碎的家务,于是创造了洗衣机、扫地机器人、和洗碗机;因为懒得出门购物...

    盈鱼MA
  • 58同城推荐系统架构设计与实现-top100summit(纯干货)

    2014年11月21日,58同城将在top100summit峰会的“架构设计专场”分享“58同城推荐系统架构设计与实现”,本文是对分享主题的一个“简要”的介绍。...

    架构师之路
  • SDCC 2015架构专场札记:一线互联网公司的架构实践

    【编者按】11月21日,为期三天的SDCC2015中国软件开发者大会成功闭幕,主办方总计邀请了95余位演讲嘉宾,为参会者奉献了10个主题演讲,9大技术专场论坛(...

    CSDN技术头条
  • 告别野蛮生长,互联网金融布局风控 | \b报道

    1月9日,ThoughtWorks中国区交付服务总监施韵涛在【消费信贷风险,审批实物沙龙】分享了《互联网金融交易平台建设现状及趋势》的话题。近日,演讲内容被《第...

    ThoughtWorks
  • 58同城沈剑:好的架构源于不停地衍变,而非设计

    对很多创业公司而言,随着业务增长,网站的流量也会经历不同的阶段。从十万流量到一百万流量,再从一百万流量跨越到一千万甚至上亿的流量,网站的架构需要经历哪些变化?在...

    CSDN技术头条
  • 【SDCC讲师专访】58同城孙玄:一切抛开业务的架构设计都是耍流氓

    孙玄@奈学教育
  • 框架组件,究竟要不要自研?

    一、问题的提出 询问框架组件,是否需要自研? 18年规划系统介绍58到家的技术体系,15年加盟58到家后,架构部正好也是负责范围的一部分,故谈一谈自己的想法,个...

    架构师之路
  • 物竞天择,适者生存,架构进化之路

    作者介绍 沈剑,58到家技术总监,技术委员会负责人。曾任百度高级工程师,58高级架构师,C2C技术部负责人,58技术委员会主席! 核心内容:58同城流量从小到大...

    架构师小秘圈
  • 58赶集借微信能力“偷袭”双11,推出闲置转让APP“转转”

    昨日,双11购物狂欢节开场仅仅33分53秒时,成交额即破200亿,轻松打破去年同时段交易记录。然而今年,在互联网各大红人及媒体之间热传的话题除了双11那令人惊叹...

    罗超频道
  • 100行代码,搞定http监控框架

    集群信息管理,员工信息管理,告警策略管理,几篇前戏已经铺垫足够,今天,分享如何用100行代码搞定一个可扩展,通用的http监控框架。 一、常见的http监控玩法...

    架构师之路
  • 100行代码,搞定http监控框架

    集群信息管理,员工信息管理,告警策略管理,几篇前戏已经铺垫足够,今天,分享如何用100行代码搞定一个可扩展,通用的http监控框架。

    Java架构师必看
  • 京东京麦商家开放平台的消息推送架构演进之路

    京麦实时消息推送是京东的京麦商家开放平台的核心组成部分。从消息源到消息中心再到触达用户,以及最终根据消息协议呼起操作页面,京麦实时消息推送是一个完整且健康的生态...

    JackJiang

扫码关注云+社区

领取腾讯云代金券