中通快递的云原生改造之路
中通快递的云原生改造之路
作者 | 施尧
2019 年 11 月 12 日，中通快递迎来了 2019 年的第 100 亿件快递订单，成为中国乃至全球第一家年业务量破百亿的快递企业。彼时，中通快递股份有限公司董事长赖梅松向全网发出内部信，表示要将 100 亿归零为新的起点。并告诫中通人要保持艰苦奋斗的创业精神和清醒的头脑。
一年后的 9 月，中通快递赴港二次上市引起业内热议，在残酷的价格战竞争中，其净利润依然是“四通一达”（中通、圆通、申通、百世汇通和韵达）之首。如此业绩，在招股书中归结为降本增效和业务增长的功劳。其中降本增效包括“提升高运力自有车辆的使用率、数据化管理运营能力... 通过数据分析，提高了路线规划效率，缩短了运货时间... 提升自动化水平来提高工作效率、降低返工成本”等举措。可见，降本增效措施的背后不仅仅是密集的劳动力和车辆的堆砌，更多是运用了众多成熟的科技能力。
其实，早在 2017 年，中通就提出了要做容器化基础设施的构想，并且专门从 IBM 挖来了当时 IBM/EMC 的云计算大牛黄凯（目前云平台技术总监）主持容器化改造。时至今日，中通的技术平台已经从单纯的容器化改造升级到云原生改造，并取得了诸多业内领先的实践成果。
近期，InfoQ QCon 北京站邀请了中通云高级架构师 杨小飞 出席演讲。小编趁此机会做了主题为 “中通的云原生改造之路” 的专访，一窥快递业巨头的数字化转型方法论与实践探索。
1云原生是继数据总线，微服务之后的架构领域的第三次革命
InfoQ：作为行业巨头，中通快递云原生落地的负责人，您在网络上的资料很少，先请您介绍一下自己吧？
杨小飞： 我叫杨小飞，曾在华云，新致云等公司任职架构师。2019 年加入中通，在 DevOps 团队，现任中通云高级架构师。从 2014 年开始，我就一直专注于云计算和周边技术的研究，积累了大量 IaaS 和 PaaS 层的实战经验。同时，对 AI，边缘计算等领域有深刻理解。
目前在中通负责云服务平台 IaaS 与容器以及边缘计算相关的产品设计与规划。关注云原生架构在亿级业务系统的落地与实施，以及整体转型，尤其对 ServiceMesh 以及 Istio 等颠覆架构的发展感兴趣。
InfoQ：云原生是当下的热门话题，但各路玩家对云原生的理解不同。中通快递怎么定义云原生？
杨小飞： 很多人把云原生简单地理解为采用开源（K8s+Docker）进行容器化，但这是偏狭隘了。我认为云原生其实是继 SOA/ESB 数据总线、SpringBoot 等微服务架构之后，在架构领域的第三次革命。
之前轰轰烈烈的云计算是基于 IaaS 实现的虚拟化，虽然从灵活性和可维护性上已经比上一代提高了一个等级，但这些对业务架构都是不透明的，那么非运维团队就不敏感。
自从引入了容器化架构之后，整个架构的思考方向彻底变了。嵌套在臃肿的 SDK 或者框架中的诸如日志、监控、压测等组件瞬间解放出来，整个业务系统变“轻”了很多，DevOps 真正从概念走进了现实生活。
工程师们发现应用的发布、迭代、迁移再也不需要借助各种流程、制度、规范来控制，运维也完全摆脱了平台绑定。敏捷发布、蓝绿持续迭代和运维自动化，甚至 AIOPS，瞬间起飞。再有底层 IaaS 云平台的虚拟化加持，弹性伸缩、动态调度、热点打散等等，原先需要资深架构师苦思冥想、精雕细琢的设计一下子走入了“民间”。
中通快递，对于云原生的需求其实是非常迫切的。首先，我们有上百个业务系统，海量微服务，支撑着亿万级的交易量。中通的开发、运维同事每天无不是如履薄冰，因为稍有不慎就是 F1 故障，一个发布不当或者小小 BUG 带来的就是数十万的损失。所以，我们从高层领导往下，一开始就坚定地走云原生升级的道路，无论什么困难和理由，都不会让步。
之所以做这样的抉择，首先我们认为这是一劳永逸的事情。之前的一些历史包袱（例如 SDK 存在多个版本，升级困难），也可以通过架构升级彻底甩掉。另外，通过云原生改造，我们享受到了容器的高密度部署和智能化调度所带来的好处，资源利用率在不断提升，包括刚才说的开发效率出现了质的飞跃。
2云原生是盘大棋，最终是为了定制一套适合中通研发体系的方法论
InfoQ：对于快递行业而言，有哪些典型场景适合云原生落地？
杨小飞： 可以说，云原生的概念直接击中了快递行业的每个痛点。首先，我们整个研发中心是以业务系统为重心的，不可能像互联网企业那样招募很多技术大牛，开发专属的技术中台和大神级框架，但是，我们的业务量又是海量，高峰时期的流量丝毫不弱于互联网企业，而且我们的终端类型涵盖了软硬件，业务形态从线下到线上，很多业务高峰还是半夜，可以说是“没有公主的命，却得了公主病”，云原生平台恰好可以很大程度上缓解这个矛盾，。
打个比方，我们的中台业务，订单轨迹，开放接口等都是海量 QPS，大起大落也很常见。往往碰到大促或者突发事件，我们的架构师都要提前 1-2 月做流量预估、版本降级预案和服务器冗余待命。而在云平台上，都是根据监控自动扩容缩容，蓝绿发布也非常轻松，架构师不用带着黑眼圈上班了。同时一些辅助部门，例如安全、测试，原来想要做一些网络策略或者压测，协调起来非常麻烦，需要到各个业务线求爷爷告奶奶升级或者打包到各个业务系统代码 SDK 中，或者安装 agent，现在他们通过 CNI 和 Sidecar，可以无感知地植入。还有就是边缘计算业务，也可以平行升级自己的模组，这不就是云原生本来的样子嘛！最后，我们几万个网点，很多当地的架构还是集中式的，这一块也是非常适合使用容器平台作为底座的。
InfoQ：云原生的提出已经快 10 年时间了，中通快递什么时候开始探索云原生实践？当时基于怎样的背景？
杨小飞： 其实我们的 CTO 早在 2017 年就提出了要做容器化基础设施的构想，也专门从 IBM 挖来了当时 IBM/EMC 的云计算大牛黄凯（目前云平台技术总监）主持容器化改造。但是当时因为业务高速发展，我们很多精力都投入到业务系统建设中去了。
现在，我们的各条业务线逐步成熟，K8s 的周边生态也丰富了很多，而且前面各大互联网公司（蚂蚁金服、美团、携程……）也探索了一套完整的云原生方法论，技术风险降低了很多，于是研发中心决定快速跟进，全面拥抱云原生。
回头来看，当时保持观望的策略是对的。当时一些同行采用了 Swarm、OpenShift 的方案，现在又要推翻转到 K8s，反而是起了个大早赶了个晚集。而且，真正的云原生架构拼图是 2020 年上半年才初具原型，例如 Cilium、Istio 等都要内核在 4.10 以上，K8s 在 1.20 以上才基本具备生产投放的成熟度。这些在当时都还不成熟，很多公司做的事情仅仅是架构容器化，跟得太早，精力全被用在填坑了，出来的东西也是四不像。
InfoQ：刚开始探索云原生落地实践时，中通快递对云原生的落地收益有怎样的期望？
杨小飞： 其实当时我们的初心蛮简单的，就是把虚拟化改成轻量级的容器，也算做一个技术尝试，更多的是为了配合 DevOps，把我们的发布系统做得敏捷一点。但是，后来发现"It's bigger than bigger"，我们的格局还是小了。
首先越来越多的部门找到我们，想把自己原来的东西“外包”到云平台上，一来二去，我们发现，咦，这不就是外面说的云原生吗？于是我们索性单独成立了一个“云平台”部门，就专心整云原生这点事。其他部门的一些研发和架构，也经常向我们讨教这块的知识，我们也在内部做了好几期培训。
说到整体收益，我们其实并没有一个很量化的目标。但是例如整体产研效率提高、通过容器化部署节约物理机资源用量、和多环境快速生成，这些都是水到渠成的事情，我们埋头做事就是了。我们更关注的，是基于我们的人员水平和架构现状，定制出一套适合中通研发体系的方法论，不光是框架，还包括流程、制度、标准、甚至组织架构……容器平台仅仅是这辆车的四个轮子而已。从集团来看，最好是能 1 个人 2 天完成以前 2 个人要做 3 天事。这一点要求，我觉得是可以期待的
InfoQ：实际落地过程中，中通快递利用云原生解决了怎样的业务需求？具体场景有哪些？
杨小飞： 首先当然是解决产研效率问题，落地到像 QPS 波动比较大的场景，比如订单轨迹，消息推送等，然后整体上云是趋势，中通这块相比其他物流公司也要保持竞争力。
InfoQ：中通快递落地云原生的过程中都遇到过哪些困难？如何克服的？
杨小飞： 困难分技术内的，和技术外的。
首先，在技术层面，我们的系统内核，稳定性和安全性是第一要求，所以 Linux 和 Docker 的版本都偏老，许多新的特性，一时半会无法应用（例如 Istio），那我们就要做一些折中方案，不能一直等。另外，就是我们的网络环境，因为一些历史因素，比较复杂，不能按照理想的架构搭建，有时要兜几个弯，当然这个随着数据中心迁移会慢慢地解决。
此外，我们的业务同事，会提出一些反模式的需求，例如固定 IP，热点集中，和 IPVS 延后上线，这些其实多多少少和云原生的倡议是背道而驰的，但是因为人员的知识水平以及管理方式所限，我们还不得不对我们的 K8s 平台修修补补，让鱼与熊掌都可兼得。
技术之外，就是云原生的技术发展太快，而团队和公司知识水平跟不上。现在市面上对云架构师的需求很迫切，我们云平台的成员都已经这块的专家了，但是还是要一边不停地学习、不停地配合架构师做实施，恨不得可以分身。
我们不像互联网企业，可以养一个庞大的基础架构团队。就只能在有限的编制内，通过逼迫自己一专多能，同时借助社区力量，来跟上技术的步伐。另外，整套 DevOps 流程，是环环相扣的，我们也要时不时停一下，等等其他部门的管理框架跟进。
InfoQ：目前中通快递落地云原生产生了哪些收益？是否有意外惊喜？
杨小飞： 预期的人和机器效率提升都实现了，同时创造了更多云原生技术方案，也跟社区走的更近，跟外界互动更加频繁，提高了团队整体的学习能力和速度。
意外的惊喜，就是我们在做边缘计算的时候，发现可以和数据中心采用同一套 K8s 平台，这大大节省了我们的设计成本和管理成本。另外就是，我们的 CPU 集群和 GPU 集群的管理具备很大的同构性，未来大一统的集群平台非常可期。这也要感谢我们自己前几年在微服务上花的大力气，让云原生有了比较好的启动基础，所谓“行百里者半九十”。
InfoQ：未来，中通快递还有哪些落地云原生的计划？
杨小飞： 我们的第一步是要把生产环境中的无状态应用全部实现容器化，应该今年就可以完成。接下来我们会逐渐把中间件数据库等一些有状态的服务也容器化、例如 Spark、TiDB 等，它们都已经发布了容器化的版本，只是现在还没有大面积铺开。
另外，我们以前自研了很多调度系统（甚至包含 Hadoop）也可逐步使用 K8s 统一调度。最后就是边缘场景，目前也在结合我们自研的 ZCLOUD-NANO 的 KVM 方案逐步使用容器来做分布式调度。
总之，未来想象的空间很大，每个场景都等着我们落地，但是我们团队人手太少了，我们只能把最重要、最易于实施的先做起来。
3认可 K8s 和 Service Mesh 是未来趋势，但 Serverless 还不确定
InfoQ：有人提到云原生的未来主要看 K8s，Service Mesh 和 Serverless 的发展，最终将从资源云化到业务云化，您怎么看？
杨小飞：K8s 的确是划时代的一个产品，ServiceMesh 也是大势所趋。不过 Serverless 我们还要观望一段时间。但我基本认同最终都会走向服务网格，按业务切微服务，寻求最佳语言实现。剩下的事情交给业务云。我们现在就是多语言环境，多套 SDK，未来一定会做到语言无关 /SDK 无关。
InfoQ：近两年快递行业涌现了不少黑马，如极兔、安能等，这些公司的在技术方面是否有可圈可点之处？
杨小飞： 极兔是黑马还是野马，这个要时间来证明，技术这种东西，是需要有积累的，即便是用公有云，架构上也要全盘考虑，有些时候抄捷径并不能走得很远。
安能和韵达最近牵手比较紧密，技术方面会不会有一些整合目前不太清楚。三通一达里面，我们对自己的信心还是很大的，因为我们从一开始就走自力更生的自主研发路线，虽然不是走得最快的，但是我们的技术底蕴会越来越深，可以支撑业务系统做得更大，走得更远，而且我们团队的成员也是各个独当一面。
今日好文推荐
如何用18个月搞出聚集全球5000余位开发者的操作系统开源社区？
字节跳动年营收2366亿元；985名校毕业生组团开发App诈骗，涉案金额过亿；谷歌最新薪资曝光，开发岗年薪超200万 | Q资讯
每周精要上线移动端，立刻订阅，你将获得
InfoQ 用户每周必看的精华内容集合：
资深技术编辑撰写或编译的全球 IT 要闻；
一线技术专家撰写的实操技术案例；
InfoQ 出品的课程和技术活动报名通道；
“码”上关注，订阅每周新鲜资讯
点个在看少个 bug👇