国内领先！招商银行四个项目全部通过 DevOps 标准认证

2018年11月2日，在深圳召开的 DevOps 国际峰会（DOIS）上，招商银行获得由中国信息通信研究院（以下简称信通院）颁发的《研发运营一体化（DevOps ）能力成熟度模型》评估证书，相关四个受评项目全部获得 3级，其 DevOps 持续交付能力被认定为达到国内领先水平。

此为全球第一个 DevOps 标准，由中国信息通信研究院（以下简称信通院）牵头，信通院旗下云计算开源产业联盟、北京华佑科技（高效运维社区和 DevOps 时代社区）发起，联合国内 BATJ、通信及金融行业明星企业专家共同制定，已在工信部及联合国 ITU-T 先后立项。

信通院张雪丽副所长（右一）为DevOps 标准国内外首批正式评估通过单位 腾讯、招商银行、广东移动、北京移动 4家单位（右二到右五）授牌

2018年11月6日，招商银行总行信息技术部周天虹总经理（第一排左二）在听取 DevOps标准认证评估结果展示及分析后，对本次认证评估的过程和整体改进建议予以肯定，达到了发现问题、明确持续优化方向等预期目标。

那么，招商银行在企业内部大规模落地 DevOps 有什么经验分享？招商银行 组织级 DevOps 持续交付流水线平台有何背景和特色？

带着这些问题，我们在大会现场采访了招商银行总行信息技术部 DevOps 推广负责人陈展文老师。

DevOps时代及高效运维社区发起人萧田国专访招行陈展文先生

时间：2018年11月2日

地点：DOIS2018深圳站现场，深圳圣淘沙酒店采访厅 受访：招商银行股份有限公司总行信息技术部 DevOps 推广负责人陈展文

DOIS：老师您好，首先请老师先简单做一下自我介绍。

陈展文（以下简称“展文”）：大家好，我是陈展文，来自招商银行信息技术部，我在招行已经15年了，从一开始推配置管理系统，参与了整个CMMI 二级和三级的过级，到近期我们在推敏捷、精益和 DevOps，从4年前开始，我们就开始研究、试用，包括落地 DevOps 相关的一些实践。

DOIS：恭喜贵公司成为国内第一批通过 DevOps 标准认证的单位，这次您的级别是三级，并表明达到了国内领先水平，请问老师对此有什么想分享的。

展文：非常高兴能够通过这次评级，这也是对我们过去的几年工作的一次肯定，当然在这个过程中，我们也发现我们有些需要改进的地方，我们后续会继续把这个作为起点，持续的改进我们相关的一些工作。

DOIS：这次招行一次性评估了4个项目，请问这是出于一种怎样的考虑？

展文：DevOps 实践，我们从4年前开始，到今年已经是比较全面落地的一年，公司希望通过这次机会，让外部专家全面的检视一下我们现在的成果。

我们从中选择了做得不错、在我们平均水平或者之上的几个项目去参评，看一看我们的差距在哪里，基本上是出于这样的考虑。

DOIS：可否谈一下招行持续交付流水线平台背景和特色？

展文：我们在4年前已经开始研究试用相关的工具，之前也用了一个商业产品，在小规模的时候，还是有一定的效果。但是当我们要尝试去跟更多的工具集成、或者更大规模的使用的时候，还是遇到一些性能瓶颈，跟其他的工具的集成也不是很好。

银行对于快速交付这件事情非常重视，去年开始，我们领导就下定决心，要把这块核心能力打造得更好。所以我们基于这个开源社区比较知名的工具 Jenkins 做了很多事情。在使用原生工具时也发现一些不同的地方，所以后来基于 Jenkins 研发了当前这套系统，DevOps 持续交付流水线平台。

DOIS：对于国内首个 DevOps 标准您怎么看？

展文：在没有这个标准之前，其实我们也研究了很多国内外的 DevOps 实践，业界是没有标准定义的。我们在推进过程中，也是结合着我们自己的一些实际，从中挑了一些对我们能够快速带来改变，有一定价值的去做推广和实施。

有了这个标准以后，我觉得是一个好机会。因为这个标准的撰写者其实也是国内各大企业，包括互联网企业、传统企业，产学研等各个方面智慧的结晶。我觉得可以利用这样的机会，给我们去对标、去看、做参考。

这个标准一开始我们就很关注，在评估完后发现，有些对于我们后续继续改进工作，包括查漏补缺都非常有帮助。

这次评估发现了一些问题，我们觉得比较准确。当然还有一些点，是我们之前没有太关注的，或者是稍微忽略的。我觉得是给我们一些机会进行查漏补缺，对于后续继续优化，也是非常重要的一个参考，我是这样理解这个标准的。

DOIS：在通过 DevOps 标准评估认证之后，贵企业打算怎样继续推进 DevOps 落地？

展文：我们希望通过这一次评估以后，就评估专家给出的一些建议、包括我们一些薄弱的环节，我们进行加强改进。

第二，我们还希望和整个 DevOps 标准工作组继续密切合作，包括刚发布的第九部分，我们也可以从中去进一步研究，看一下哪些方面我们是可以去利用的。同时我们也希望借助于这个平台，多跟业界同行去做交流，也把我们的一些经验及实践分享出来。同时也能够更好的改进我们的工作，我觉得是两个层面都可能会有帮助，这是我们努力的方向。

DOIS：您对于 DevOps 的发展前景怎么看？

展文：首先，我觉得其实我们领导非常看重 DevOps 方法论、相关的实践，其核心是：快速交付，高质量的交付，这对我们而言，非常重要。

其次，我们会第一步从工具层面去落实，下一步从流程层面及文化层面去实践，基于本次 DevOps 标准评测的契机，去进行改进、优化，这些是我们会去往下走的一个点吧。

DOIS：在企业内部大规模落地 DevOps 的经验和技巧，老师有哪些可以分享给我们吗？

展文：我们从4年前开始研究 DevOps 。非常重要的是我们的领导，特别是大领导支持我们这项工作，让我们走出来，参加类似于这样的峰会，包括到华为去参观沟通交流访问，这是第一步，先看看别人是怎么做的，包括去研究，参加各种会议，阅读各种文章等等。

第二步，非常重要的是，结合自己企业的实际情况，找到一个开始的点。我们一开始找到的点，从扫描工具开始，因为用工具去扫东西，大家相对来说没什么抵触，我是管代码的，我能直接扫，从这个过程去优化改进，也许是一个重要的实践开始。

当然很重要的是找试点团队，我们近几年推行试点敏捷与精益的项目，也给我们很多的机会去试点，试到差不多了（其实是继续往前走），刚好配合着招行的建设Fintech银行战略，实现全员统一的思想，以科技敏捷带动业务敏捷。

即使个别业务部门觉得没有这个必要，或者他觉得你现有的交付方式和交付时间都OK了，他能等得了，我们也一样的去推（同时要有试点），让外部环境迫使我们往前走。你即要快速交付，又要质量好，DevOps 这条路是必须的，或者是说能够加速这条路。

当然中间的过程也不是一帆风顺，也要配套很多工具的建设，配合很多内部的技术教练去做，整个过程并不容易。但是好在有高层领导的支持，从一个个小的实践开始，到各个团队结合我们的度量体系去推。简单说我们的经验是这样子，但实际上每个企业有很多不同的问题，可能也需要有一些天时地利时机的配合。

DOIS：对比某些企业使用自研的工具链，招商银行在使用开源工具快速搭建DevOps平台方面有什么更多经验分享吗？

展文：我们以前还是主要用商业的工具会多一点，因为毕竟是银行，如果有商业企业去支持会好一点。但最近开源发展得很快，互联网开源的世界，我们也要去实践。

另一个是，商业工具也遇到了瓶颈，我们通过研究发现，本质上来说，实际达到产品交付级的平台可选择的很少。另外有一个共识，Jenkins 的生态比较丰富，基本上能找到帮你解决问题的人，也有丰富的插件，基本上可以认为是业界的标准。

但是这个业界的试行标准也会有些瓶颈，我们基于原生的 Jenkins 做了一些定制，最开始也没有太多纠结，因为基本上业界 90% 都在用这个，应该错不到哪里去，也是经过互联网考验。所以从这个角度来说，我觉得选择还是比较简单，没有太多困难。

第二，搭建平台本身，其实我觉得应该是之前经验的积累。再早些，我们被商业工具已经折腾过一遍了，大家的抱怨点、槽点都知道。包括我们用了很多集成的工具，不足在哪里，遇到的问题都比较清楚。

我们的目标明确，朝着目标走。对我们是一个比较自然的过程，虽然一路走来也不容易。因为自研，基于开源去做的时候也会遇到很多坑，也会面临很多问题。这个就要感谢背后的技术团队，表现出专业的技术能力还是很强的，在这个过程中他们付出了很多。

第三，我们也有很多试点的团队，他们也给予了我们很多的包容和帮助，大家更好去做这件事，过程有曲折、有波折，但我觉得基本上是靠大家一起去努力吧，这个过程大家也能够相互包容。

DOIS：本次是 DevOps 国际峰会（DOIS）首次走进深圳，老师的参会感受怎么样，有没什么想说的？

展文：非常荣幸能第一次参加 DevOps 国际峰会，同时也能够分享我们的经验，深圳的土壤是创新的土壤，但是可能相对来说，类似的会在什么比较少，大家更多的埋头干活。相比之下可能上海、北京更多一点，希望后续多搞类似的峰会，预祝本次大会取得成功，希望同学们收获满满。

正如前述，2018年11月6日，在招商银行所有4个项目均获得 DevOps 持续交付 3级证书授牌后，在招商银行深圳总部举行了关于 DevOps 标准认证评估结果的分析会议。

招商银行总行信息科技部周天虹总经理等领导听取 DevOps 标准工作组联合组长萧田国等的评估结果及后续改进建议说明。

参与本次评估结果分析的领导和评估专家团队合影留念。

那么，招商银行 DevOps 之路背后有哪些宝贵的经验？其持续交付流水线平台有何背景和特色？一起看看陈展文老师在 2018 DevOps 国际峰会（DOIS）深圳站的相关分享（部分内容）⤵️

招商银行 DevOps 的工具链

包括项目/过程管理、配制管理、构建，测试 /质量，制品/部署，基础设施，沟通协作，可视化。亮点多多，请看。

亮点一、CLI

CLI 是可以标准化、跨平台，本身可以做版本管理的命令行工具，可以动态加载一些配置，对各种构建语言进行自动探测，同时可以支持命令行的自动滚动升级。

亮点二、分层流水线

应对系统很多，以及其互相协作的需求，我们设计了这样一个分层流水线功能，可以支持串行的执行，也就是说流水线一执行完，再执行流水线二等等，也可以支持并行的执行，这个并行和串线也可以用变更触发，定时触发等等的一些方式。

亮点三、Design System 系统

根据不同的组件，比如说查询框、搜索框，或者是一个输入界面，颜色应该怎么样排布，大小怎么排布，对于同一种颜色肉眼可能分不出来，有的时候是蓝色、有的时候又是黑色，怎么把这些标准定义好，而且后续不断的重用它，我们就会封装很多，相当于组件，而且这些组件都会有代码，也就是说下一次我提这个需求要加一个搜索框，从里面找到这个样例代码，包括布局，直接拿过去就可以快速的开发一个新的界面，同时它也是遵循了统一风格，而且这套系统，当我要改风格的时候也很容易的应用到整个系统中。

亮点四、持续反馈

我们利用了很多渠道，包括网页，移动端，类似于企业微信这样的功能，也可以在手机上看相关的信息

同时也会有一些大电视、大屏幕，可以关注不同的系统，构建的情况，绿色的代表通过，红色的代表没有通过，比如说遵守持续交付的纪律。

亮点五、持续交付价值流可视化

更细一步的看系统的界面，包括不同流水线运行的情况，包括分层流水线的每一步骤的运行情况、运行时长，是否成功。有具体的 CLI 的界面，回顾都有详细的 CLI 方便查看。

成果

从一开始的1.0版本，到后面演进的2.0版本，可以做到现在能支撑的流水线已经超过了一万条，创建时长五分钟内都可以做好，平均时长在12.6分钟，支持 master 回收，按照资源利用率的估算，如果要支撑，比如一条流水线有6个 job，我们有一万条流水线的情况下，我们的方案和原生 jenkins 的方案对比，我们的方案还是很节省资源的。

关于DevOps标准的更多介绍

麦肯锡的一项研究结果表明，科技公司的关键所在无外乎两点：标准化 和 工具赋能。这和 DevOps 核心理念不谋而合。

目前各大企业评测的 “持续交付部分” 共有7个能力子域、14个能力项、49个能力指标。完成覆盖了开发、测试、安全和运维，也是对贵司 DevOps 持续交付流水线平台的工具能力以及团队协作能力的集中检验。