流水线即代码|洞见

2016年11月份的技术雷达中给出了一个简明的定义:流水线即代码(Pipeline as Code)通过对持续集成/持续交付(CI/CD)运行工具进行编码而非配置的方式定义部署流水线。其实早在2015年11月份的技术雷达当中就已经有了类似的概念:

The way to avoid programming in your CI/CD tool is to extract the complexities of the build process from the guts of the tool and into a simple script which can be invoked by a single command. This script can then be executed on any developer workstation and therefore eliminates the privileged/singular status of the build environment.

大意是将复杂的构建流程纳入一个简单的脚本文件,然后用一条命令调用。这样,任意的开发者都能在自己的工作区中执行脚本重建一套一模一样的构建环境,从而消除CI/CD环境由于散乱配置腐化而成的特异性。

这么做的原因很好理解,使用CI/CD工具是为了暴露产品代码中的问题,如果它们自身已经复杂到不稳定的地步,我们还使用它就是自找麻烦。

从某种程度上看,实施流水线即代码是不证自明的。在CI/CD的实践过程中,凡是可以被编码的东西都已经被代码化了,比如:构建、测试、数据库迁移、部署和基础设施/环境配置(Infrastruture as Code)等。说得烂俗点,流水线已经是CI/CD实践过程中的“最后一公里”,让流水线变成软件开发中的“一等公民”(即代码)是大势所趋、民心所向。

不过,这种论断毕竟欠缺说服力,我们接着从实践的痛点出发总结当前流水线遇到的问题。

实践中的痛点

我给客户搭建和配置过不少CI/CD流水线(被同事戏谑地称为“CI/CD搭建兽”),最大的痛苦莫过于每次都得从头来过,即便大部分情况下所用的工具和配置都大同小异。

其次是手工操作产生的配置漂移(configuration drift)。以Jenkins为例,暂且不谈1.0版本无法直接支持流水线这一问题,为了支持构建、测试和部署等,我们一般会先手工安装所需插件,在多个文本框中粘贴大量shell/batch脚本,下载依赖包、设置环境变量等等。

久而久之(实际上用不了多久),这台Jenkins服务器就变成无法替代(特异化)的“怪兽”了,因为没人清楚到底对它做了哪些更改,也不知道这些更改对系统产生了哪些影响,这时的Jenkins服务器就腐化成了Martin Fowler口中的雪花服务器(snowflake server)。雪花服务器有两点显著的特征:

  • 特别难以复现
  • 几乎无法理解

第一点是由于以往所做的更改并没有被记录下来,所以做过的操作都是七零八落的,没有办法复现同样的操作,也无法复制一个同样的系统。

第二点则是由于绝大部分情况下散乱的配置是没有文档描述的,哪部分重要、哪部分不重要已经无从知晓,改动的风险很大。

这些问题会在流水线的演化过程中恶化得越来越严重。

一般来讲,除非不再使用,否则流水线不会保持一成不变。具体实施过程中,考虑到项目,尤其是遗留项目当前的特点和团队成员的“产能”,我们会先将构建和部署自动化;部署节奏稳定后,开始将单元测试和代码分析自动化;接着可以指导测试人员将验收测试自动化;然后尝试将发布自动化。

在这之后,并未结束,团队还要持续优化流水线,包括CI的速度和稳定性等。换句话说,流水线的演化阶段其实是和项目的当前进展密切相关的,保证这样的对应关系有时是有必要的,比如:在多分支的版本控制下,发布分支所需流水线和主干分支会存在不同。发布分支是主干分支某个时刻分出去的,它需要在那时的流水线上才能正常工作。由于前面所说雪花服务器的特征,重建这样一条流水线并不是一件容易的事情。

如何解决

其实,流水线即代码本身已经回答了这个问题。当前实现这一概念的CI/CD工具大体遵循了两种模式:

  • 版本控制
  • DSL(领域特定语言)

对于特别难以复现、没有保证对应关系的痛点,我们就把流水线写成代码放到版本控制工具中管理起来。这样一来,每一次更改都能被记录下来,而且它会始终和此时的项目进展保持同步。

对于几乎无法理解、没有文档支持的痛点,我们就选用领域特定语言描述整条流水线。举个Jenkins2.0例子,它允许我们在项目的特定目录下放置一个Jenkinsfile的文件,内容如下:

node('master') {
   stage('Checkout') {…}
   stage('Code Analysis') {…}
   stage('Unit Test') {…}
   stage('Packing') {…}
   stage('Archive') {…}
   stage('DEV') {…}
}
stage('SIT') {
   timeout(time:4, unit:'HOURS') {
       input "Deploy to SIT?"
   }
   node('master') {…}
}
stage('Acceptance Test') {
   node('slave') {…}
}

Jenkins2.0使用Groovy实现了一套描述流水线的DSL,我们即便不了解Groovy语言,只要对流水线稍微熟悉,就能按照文档中的例子编写出符合要求的代码。

类似的工具还有Concourse.ci、λCD(LambdaCD)等。 Concourse.ci使用了基于yaml的DSL,独立抽象出Resource(外部依赖,如:git repo)、Job(函数,对Resource进行get或put操作)以及Task(纯函数,必须明确定义Input/Output)模型。效果图如下:

而λCD则使用Clojure语言实现了DSL,抽象出Pipeline和Step模型,使用了Lisp特有的宏(macro)扩展和自定义普通函数,编写起来简单明了。如下:

(def pipeline-def
 `(
   (either
    manualtrigger/wait-for-manual-trigger
    wait-for-repo)

   (with-workspace
     clone
     (in-parallel
      run-some-tests
      run-smokeing-tests)

     run-package
     deploy)))

上述的pipeline-def就是这条流水线的定义,极为优雅得是,它的代码和UI事实上构成了——映射的关系,简单到极致。

值得一提的是,λCD有别于其它同类型的工具,它本身就是一份用Clojure写就的微服务。换句话说,其它的工具可能需要借助基础设施即代码完成自身的安装,但λCD不用,它完全可以采用其它微服务的部署方式,比如用λCD部署它自己,类似于编译器的自举(bootstraping)。这个时候,我们就需要两套λCD服务,一套用于部署λCD自身,另一套部署开发中的工程。

小结

流水线即代码是个新概念,也就意味着我们还需要花时间去探索与之相关的实践,比如,调试和测试(既然是代码就需要测试)。一旦有了这些实践,我们就可以把流水线本身作为产品放到流水线上运作起来,那时将会看到一种很好玩的现象——旧的流水线会构建并部署新流水线,发生上文所说自举(bootstraping)现象,这也表明流水线是不断进化的。

此外,当流水线成为代码,它在最终的交付物中必然占据一席之地,其潜在的价值还等待我们挖掘,至少从精益的角度,流水线能做的事情还有很多。

原文发布于微信公众号 - 思特沃克(ThoughtWorks)

原文发表时间:2017-02-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Java架构师进阶

Java高级工程师面试总结

原因:面试的第一个问题,一般都是让你简单介绍下你自己,或者介绍一下你最近的项目,而一个面试者,如果连自己的简历都无法熟知,对里面提到的项目、技术都无法描述清楚的...

13220
来自专栏码匠的流水账

聊聊系统设计中的trade-off

trade-off翻译过来大致是折中的意思,也就是说系统设计通常牵扯的点比较多,有的设计方案这个方面比较好,但是又有其他缺点,没有十全十美的方案,只是在特定的上...

22430
来自专栏ThoughtWorks

ArchUnit,架构守护神 | 雷达哔哔哔

ArchUnit是一个基于 Java 的测试库,用于检查代码的结构特性,如包和类的依赖关系、注解验证,甚至还能检查代码分层是否一致。我们很喜欢 ArchUnit...

36420
来自专栏Java技术栈

爱上 Java 的10 大理由,Python 弱爆了!

Java和JVM已经存在了很长一段时间了,基于这个事实,一些程序员开始将很多事情视为理所当然。今天我们就来说一说“Java之所以能够成为并将继续是软件项目领先平...

13840
来自专栏编舟记

架构整洁之道导读(三)

上回说到组件聚合,反映的是组件内部的“基本元素”的选择标准。第14章介绍的组件耦合则是指组件和组件之间的关系,这些依赖关系有些是好的,有些是不好的,我们即将看到...

16030
来自专栏张善友的专栏

MS MVC框架漩涡中的MonoRail未来

上个星期,Hamilton向微软MVC团队通报了Castle团队从现实应用中获得的所有复杂和不直观的需求,并告知他们如何处理这些事情。另外他还开发了一些集成案例...

20250
来自专栏微信公众号:Java团长

以技术面试官的经验分享毕业生和初级程序员通过面试的技巧(Java后端方向)

本来想分享毕业生和初级程序员如何进大公司的经验,但后来一想,人各有志,有程序员或许想进成长型或创业型公司或其它类型的公司,所以就干脆来分享些提升技能和通过面试的...

12610
来自专栏JAVA高级架构

有哪些 Java 源代码看了后让你收获很多,代码思维和能力有较大的提升?

最早看的 架构探险 从零开始写Java Web框架,黄勇写的,算是一种启蒙,作者自己写了一套ioc和aop框架以及mvc请求分发框架。 跟着写了一遍,基本明白了...

475100
来自专栏Python爬虫与算法进阶

爬虫学到什么程度可以去找工作

随便看看知乎上的教程就可以入门了,就Python而言,会requests当然是不够的,还需要了解scrapy和pyspider这两个框架,scrapy_redi...

26400
来自专栏杨建荣的学习笔记

改和看别人的代码是一种什么感受

工作里面可能会沉淀下来很多的东西,比如文档,代码/脚本,或者图片,甚至你留下的趣事或者“案底”。 对于修改代码,我很多年前就体验过一次,是修改自己写的代码,记...

40780

扫码关注云+社区

领取腾讯云代金券