DevOps工具链大全 on Openshift

魏新宇

发布于 2018-10-23 15:14:21

3.6K0

发布于 2018-10-23 15:14:21

文章被收录于专栏：大魏分享（微信公众号：david-share）大魏分享（微信公众号：david-share）

本文作者为陈沙克，原文题目为：OpenShift的DevOps工具链，大魏已获得授权转载。

在OpenShift，整整忙乎了一年，逐步一点一点完善整个CI 的工具链。根据我自己的理解和实践，我整理一下。

涉及的相关的技术，其实我同事已经分享到简书上，大家可以参考。

https://www.jianshu.com/u/15a6a6df3202

我是按照jenkins的运行的流程来介绍工具

在Jenkins创建一个Maven的job
Gitlab的webhook，触发Jenkins里的job，jenkins的slave镜像启动，Maven已经集成到jenkins的slave镜像里。
从Gitlab拉取代码
Jenkins调用SonarQube静态扫描代码
Maven利用Nexus build jar包
Maven利用Junit和TestNG自动化测试
Jenkins Slave镜像完成相关工作，会把结果传到Jenkins的Master节点上，然后把slave节点销毁掉。
触发Openshift build 镜像，deploy环境
UI自动化测试

对于ci的流程，不少工具会产生大量的数据，所以尽可能使用S3，对象存储来存储数据，这样可以避免磁盘撑破。流程里的工具，都采用OpenLdap来统一身份验证，授权在应用里进行。

下面的工具，全部容器化，跑在OpenShift上。整个环境的部署，从OpenShift安装，一直到工具链对接，跑完一个Java的demo测试，1天就可以完成，应该还是非常高效。

Contents

1 身份统一认证
2 项目管理
3 持续集成工具
4 项目构建工具
5 代码管理工具
6 代码质量管理
7 制品库
8 测试框架
9 配置管理中心
10 UI自动化测试
11 测试管理

身份统一认证

其实打造一套工具链，面临了一个很现实的问题，如何统一不同工具的身份验证的问题。那么通过OpenLdap，基本是唯一办法，这是代价最小的方式，现在目前基本所有的应用，都支持ldap认证。

所以我们也花精力把OpenLdap跑起来，用来提供用户验证，当我设置允许该用户登录某个系统，用户用统一的用户名和密码，登录到不同的系统中。

第一个需要解决的系统，其实就是OpenShift平台的用户管理。用户在openldap上创建，用户的权限管理，在openshift设置。

OpenLdap在OpenShift平台部署，比较简单。

https://github.com/openshift/openldap

OpenShift上部署生产的OpenLdap，需要考虑不少东西，主从架构，估计还需要搞一个Operator，不过应该够用。

目前OpenLdap的用户管理，缺乏UI，这块我们自己开发一套OpenLdap管理的UI，当然也肯定是跑在OpenShift上。

项目管理

软件的项目管理，需求管理，这是在比较大的项目里的一个需求，另外还有项目的文档管理。

软件的开发，我们希望可以支持敏捷开发，实现看板的功能。还有就是issue的管理。关于issue，详细的介绍，大家可以http://www.ruanyifeng.com/blog/2017/08/issue.html 阮一峰介绍的很详细。

Redmine
Jira+confluence
禅道

上面三个软件，都能支持ldap的用户管理，我基本都折腾了一遍。最好的肯定是Jira+confluence。很多创业公司一成立，就直接把jira+confluence搭建起来，宁愿付费，也要使用，提高效率。

Jira和confluence官方提供docker镜像，你可以拿来修改一下就可以跑在OpenShift上。这个过程，基本就是体力活。当jira和confluence用起来后，存储需求比较大，其实应该考虑把数据放到S3上，减轻PaaS平台的存储压力。

禅道，基本是能满足我们使用需求。缺点就是一个孤岛，没法和外面的系统集成。

Redmine，老牌的开源项目管理软件，可以通过装上各种插件满足项目的需求。可以和gitlab对接。唯独社区不是很活跃，用ruby语言开发，感觉非常不可控。

对于Jira来说，其实可以作为一个公司的门户入口。如果你舍得投入的话，要有的功能都有。可以对接jenkins，Sonarqube。把各个软件的运行的信息，显示在jira的页面上。

持续集成工具

红帽的OpenShift上已经直接集成了Jenkins，而且用户是和OpenShift统一。可以启用jenkins的k8s插件，这样可以把jenkins的slave跑起来。当job在slave跑完后，会把相应的结果复制到master上，就会销毁掉。

jenkins的插件非常多，常用的gitlab对接，gitlab触发jenkins，jenkins和jira对接，jenkins的深入，其实就看你使用的插件的数量。

整个持续集成的重点，就在于Jenkins，jenkins是挺复杂，你需要投入时间了解他，不过好处就在于，好像基本没碰到什么bug。插件都能正常工作。

关于Jenkins启用k8s插件后，slave节点的配置

https://medium.com/muhammet-arslan/how-ive-created-scaled-and-distributed-jenkins-top-of-kubernetes-441db62b15cd

非常好用。

项目构建工具

对于java的开发人员来说，项目的构建工具：ANT，Maven和Gradle，ANT应该早已废弃。Gradle风头很猛，不过Maven在如今仍然是Java构建技术的事实标准。所以我们项目里，还是选择Maven作为构建工具。

大家可以简单理解，Maven，就是管理项目的依赖关系的工具。

Openshift内置的jenkins Slave镜像，默认就支持Maven。所以就非常方便。如果你希望用Gradle构建，那么还需要多做一点工作。

代码管理工具

其实这个悬念不多，建议直接使用gitlab就可以了。现在市场上还有好几个开源的代码管理仓库，功能都基本一致，不过最大的问题，就是和别的系统集成上，缺乏插件。

gitlab，作为代码仓库，至少需要和外面的系统对接：jira对接issue，对接jenkins。

gitlab也带CI的工具，不过我没有用，这也是大家比较诟病的一个功能，太重。不过还好，无非就是多用2g内存而已。

gitlab在OpenShift的部署，官方提供文档，照做就可以。

https://about.gitlab.com/2016/06/28/get-started-with-openshift-origin-3-and-gitlab/

gitlab的issue功能，可以关闭，直接集成到jira上，这样可以实现issue集中管理。

目前还没很好解决的问题就是无法通过ssh访问gitlab，只能是https的方式。后续再深入研究。ldap集成，也是没问题。

代码质量管理

代码扫描工具，基本目前大家都使用SonarQube。可以对没编译前的代码根据定义的规则，进行扫描，并且生成报告。

用户还能自定义规则，可以把公司的代码规范融入到规则里，一旦发现不规范的地方，马上提示。

Jenkins装上SonarQube插件，在流水线上，直接让SnoarQube进行代码的扫描。

另外SonarQube还能通过jira的插件，把报告显示在jira的UI上。

Openshift安装，红帽提供了一个模板：

https://github.com/OpenShiftDemos/sonarqube-openshift-docker

制品库

作为Maven的私有仓库，目前选择是

JFrog’s Artifactory
Sonatype’s Nexus

Nexus3.x的版本，比2.x版本功能多很多，还可以提供yum源管理。可以大大加快企业内部的build速度。

需要考虑的一个问题就是Nexus的存储，如果可能，存放到S3上。

Nexus容器化，OpenShift运行，红帽直接提供官方的支持

https://docs.openshift.com/container-platform/3.5/dev_guide/app_tutorials/maven_tutorial.html

jenkins通过Maven构建的时候，就可以直接使用私有的仓库来构建，加快构建的速度。

测试框架

Maven本身并不是一个测试框架，Java世界中主流的测试框架为Junit和TestNG。Maven在构建执行到特定生命周期阶段的时候，通过插件maven-surefire-plugin来执行Junit或者TestNG的测试用例，也可以并行执行测试用例。该插件能很好的兼容Junit3、Junit4，unit5和TestNG。

https://www.baeldung.com/core-maven-plugins