前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP最新优惠活动
返回腾讯云官网
社区首页 >专栏 >基于Jenkins+Gitlab+Harbor+Rancher+k8s CI/CD实现

基于Jenkins+Gitlab+Harbor+Rancher+k8s CI/CD实现

作者头像
py3study
发布于 2020-06-18 10:48:02
3.9K0
发布于 2020-06-18 10:48:02
举报
文章被收录于专栏：python3python3

一、概述

讲正文开始前先回顾一下以往传统的代码部署方式。

     通常运维人员在接到代码（新项目）上线的任务前都要做大量的准备工作，包括：物理主机、虚拟机、代码运行环境、数据库安装配置、各种帐号创建，、运行后期的系统监控、应用的日志收集，性能优化等一系列的工作。

想一想这个流程不是很复杂但是很繁琐，效率低下，如需要调试还需要给开发人员提供线上系统权限等等，细节没有注意的话，还会造成解决问题的难度等各种问题。

OK，说完以上的问题，那接下来就有相对应的解决方案。

方案大概的架构组成：

Jenkins+Gitlab+Harbor+Rancher+k8s 

各个组件的功能描述

Jenkins

（1）下载gitlab中项目代码

（2）负载执行镜像的构建、上传下载

（3）部署到k8s集群

Gitlab

（1）项目代码以及配置

（2）Dockerfile文件

Harbor

这个是vmware公司开源的docker镜像仓库管理系统，比较方便管理维护镜像

（1）负责构建后镜像的存储

Rancher

容器编排管理工具

（1）更新stack/service

（2）实现服务的扩容缩容

k8s

（1）简化应用部署 （2）提高硬件资源利用率 （3）健康检查和自修复 （4）自动扩容缩容 （5）服务发现和负载均衡

架构图

1.png
1.png

架构图说明

项目开发语言是java，使用了比较流行的spring boot框架，manven更新源采用阿里云，编译生成jar文件

① 开发人员提交代码到gitlab

② 手动执行jenkins构建(或者gitlab钩子触发jenkins执行构建)，下载最新版本的代码，代码里面包含Dockerfile

③ jenkins执行shell脚本：mvn编译生成jar文件。通过docker build 指令打包成镜像

④ 上传构建好的镜像push到harbor镜像仓库

⑤ jenkins远程到k8s master节点，更新service镜像地址，达到更升级容器的目的（也就是更新代码版本）。

以上流程完整的实现了CI/CD，这里主要是jenkins部分是关键位置之一。

二、准备环境

环境说明

系统

ip

主机名

配置

版本

CentOS 7.6

10.212.20.94

k8s-master

2核4g

Kubernetes1.18.1

CentOS 7.6

10.212.20.240

k8s-node01

2核4g

Kubernetes1.18.1

CentOS 7.6

10.212.82.89

jenkins

2核4g

2.222.4

CentOS 7.6

10.212.82.90

gitlab

2核4g

10.5.1

CentOS 7.6

10.212.82.86

harbor

2核4g

v2.0.0

CentOS 7.6

10.212.82.87

rancher

2核4g

v2.4.3

关于k8s 1.18.1安装，请参考链接：

https://www.cnblogs.com/xiao987334176/p/12696740.html

关于jenkins安装，请参考链接：

https://www.cnblogs.com/xiao987334176/p/13032339.html

关于Gitlab和Harbor安装，请自行百度

关于rancher安装以及导入现有k8s集群，请参考链接：

https://www.cnblogs.com/xiao987334176/p/12965945.html

项目说明

基于Spring Boot/Spring Security/thymeleaf的通用后台管理系统

项目地址：

https://github.com/jonsychen/admin

此项目依赖于mysql，因此需要提前在Rancher里面部署mysql才行。

三、Rancher操作

mysql部署

登录k8s-node01主机，创建数据目录

代码语言：javascript
复制
mkdir -p /data/mysql/data

访问Harbor后台，点击部署服务

1.png
1.png

端口映射

1.png
1.png

设置环境变量

代码语言：javascript
复制
TZ=Asia/Shanghai
MYSQL_ROOT_PASSWORD=abcd@1234
1.png
1.png

数据卷映射

1.png
1.png

 点击启动

1.png
1.png

代码配置

下载代码：https://github.com/jonsychen/admin

解压之后，进入目录admin-master\src\main\resources

修改application-default.yaml，修改红色部分。

代码语言：javascript
复制
server:
  port: 8088
  compression:
    enabled: true
  connection-timeout: 3000

debug: false

##登录记住我的token加密key
remember:
  key: yintong
##actuator config,actuator运行在一个独立的webappcontext中，see AnnotationConfigEmbeddedWebApplicationContext
management:
  context-path: /management
  security:
    enabled: false

spring:
  application:
    name: admin
  datasource:
    url: jdbc:mysql://db-mysql.default.svc.cluster.local:3306/admin?characterEncoding=utf-8
    username: root
    password: abcd@1234

说明：

port: 8088 项目运行的端口号

db-mysql.default.svc.cluster.local 表示db-mysql服务的svc地址。

格式说明：服务名.命令空间.default.svc.cluster.local ，其中服务名和命名空间是根据实际情况来的，后半部分是固定的。这一长串域名，会解析为svc地址。

password: abcd@1234 mysql的root用户密码

application-prod.yaml的配置修改同上。

在此项目的根目录创建dockerfile

代码语言：javascript
复制
FROM mayan31370/openjdk-alpine-with-chinese-timezone:8-jdk
ADD admin-0.1.0.jar /

EXPOSE 8088
ENTRYPOINT [ "java","-jar","/admin-0.1.0.jar"]

此时顶层目录结构如下：

代码语言：javascript
复制
# tree -L 1
.
├── dockerfile
├── etc
├── pom.xml
├── README.md
└── src

将此项目代码，提交到gitlab中。

sql导入

登录k8s-master节点，查看svc映射端口。因为使用Rancher部署mysql时，nodeport端口是随机的。

代码语言：javascript
复制
# kubectl get svc
NAME                    TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)          AGE
db-mysql                ClusterIP   10.1.116.0    <none>        3306/TCP         61s
db-mysql-nodeport       NodePort    10.1.86.36    <none>        3306:31959/TCP   61s
kubernetes              ClusterIP   10.1.0.1      <none>        443/TCP          20d

可以看到随机映射的端口是31959

使用navicat软件连接mysql

1.png
1.png

新建数据库book

代码语言：javascript
复制
create database admin default character set utf8mb4 collate utf8mb4_unicode_ci;

进入book，执行项目中的sql文件，路径为：etc/ddl.sql

执行成功后，表如下：

1.png
1.png

Harbor配置

新建一个项目java，访问级别是公开。注意：设置公开后，下载镜像不需要认证。

1.png
1.png

推送镜像

进入jenkins主机，下载gitlab代码。

代码语言：javascript
复制
git clone ssh://git@10.212.20.94:/home/git/git_storage/admin-master

修改docker配置，增加Harbor库地址。

代码语言：javascript
复制
vim /etc/docker/daemon.json

增加insecure-registries

代码语言：javascript
复制
{"insecure-registries": ["192.168.10.122"]}

重启服务

代码语言：javascript
复制
systemctl restart docker

登录Harbor，否则无法推送镜像

代码语言：javascript
复制
docker login 10.212.82.86:1180

进入项目目录，使用mvn编译代码

代码语言：javascript
复制
mvn -f pom.xml clean package

推送镜像，执行命令：

代码语言：javascript
复制
cp dockerfile target/cd target
docker build -t 10.212.82.86:1180/java/admin-master:1 .
docker push 10.212.82.86:1180/java/admin-master:1docker rmi 10.212.82.86:1180/java/admin-master:1

admin-master部署

登录k8s-node01节点

修改docker配置，增加Harbor库地址。

代码语言：javascript
复制
vim /etc/docker/daemon.json

增加insecure-registries

代码语言：javascript
复制
{"insecure-registries": ["192.168.10.122"]}

重启服务

代码语言：javascript
复制
systemctl restart docker

访问Rancher后台，点击部署服务

1.png
1.png

 端口映射

1.png
1.png

 点击启动

1.png
1.png

 等待几分钟，Running表示运行正常。

1.png
1.png

登录k8s-master节点，查看svc映射端口。因为使用Rancher部署时，nodeport端口是随机的。

代码语言：javascript
复制
# kubectl get svc
NAME                    TYPE        CLUSTER-IP    EXTERNAL-IP   PORT(S)          AGE
admin-master            ClusterIP   10.1.10.23    <none>        8088/TCP         10m
admin-master-nodeport   NodePort    10.1.238.46   <none>        8088:31581/TCP   10m
db-mysql                ClusterIP   10.1.116.0    <none>        3306/TCP         61s
db-mysql-nodeport       NodePort    10.1.86.36    <none>        3306:31959/TCP   61s
kubernetes              ClusterIP   10.1.0.1      <none>        443/TCP          20d

可以看到nodeport映射的随机端口是31581

访问admin-master

代码语言：javascript
复制
http://10.212.20.94:31581/

 输入用户名和密码，都是root

1.png
1.png

首页效果如下：

1.png
1.png

四、jenkins操作

前面已经通过Rancher部署了mysql和admin-master，接下来演示一下，如何通过jenkins实现基于Pipeline，实现发布和回滚。

安装插件Git Parameter 

1.png
1.png

新建一个job，名称为：test_admin，选择流水线。

1.png
1.png

通用设置

1.png
1.png

参数化构建

1.png
1.png

Pipeline脚本

1.png
1.png

完整代码如下：

代码语言：javascript
复制
env.CREDENTIALSID = '7a294fc5-2b2b-4d2d-92ff-54324e1b032a'
env.BRANCHES = 'master'
env.GIT_URL = 'ssh://git@10.212.20.94:/home/git/git_storage/admin-master'
env.HARBOR_PROJECT = '10.212.82.86:1180/java/admin-master'
env.PROJECT = 'admin-master'
env.K8S_MASTER = '10.212.20.94'
env.NAMESPACE = 'default'
node {
   if (env.Status == 'Deploy'){
       stage('code pull') {
           checkout([$class: 'GitSCM', branches: [[name: env.BRANCHES]],
           doGenerateSubmoduleConfigurations: false,
           userRemoteConfigs: [[credentialsId: env.CREDENTIALSID, url: env.GIT_URL]]])
       }
       stage('code Build') {
         sh 'mvn -f pom.xml clean package'
       }
       stage('docker push') {
         sh 'cd ${WORKSPACE} && cp dockerfile target'
         sh 'cd ${WORKSPACE}/target && docker build -t ${HARBOR_PROJECT}:${BUILD_NUMBER} .'
         sh 'docker push ${HARBOR_PROJECT}:${BUILD_NUMBER}'
         sh 'docker rmi ${HARBOR_PROJECT}:${BUILD_NUMBER}'
       }
       stage('k8s deploy') {
         sh 'ssh ${K8S_MASTER} "kubectl -n ${NAMESPACE} set image deploy ${PROJECT} *=${HARBOR_PROJECT}:${BUILD_NUMBER}"'
       }
   }else{
       stage('k8s rollback') {
           sh 'ssh ${K8S_MASTER} "kubectl -n ${NAMESPACE} set image deploy ${PROJECT}*=${HARBOR_PROJECT}:${BUILD_ID}"'
       }
   }
}

根据实际情况，修改红色文字参数，也就是全局变量。

说明：

7a294fc5-2b2b-4d2d-92ff-54324e1b032a 这个是jenkins全局凭据，针对gitlab设置的。

1.png
1.png

点击构建

1.png
1.png

直接点击构建

1.png
1.png

构建成功后，效果如下：

1.png
1.png

如果需要回滚到上一个版本，输入BUILD_ID。

由于最近成功一次的BUILD_ID是10，所以输入9

1.png
1.png

效果如下：

1.png
1.png

本文参考链接：

https://blog.51cto.com/andylhz2009/2053741

本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2020/06/16 ，如有侵权请联系 cloudcommunity@tencent.com 删除
kubernetes
jenkins
数据库
云数据库 SQL Server

本文分享自 作者个人站点/博客 前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ，欢迎热爱写作的你一起参与！

kubernetes
jenkins
数据库
云数据库 SQL Server
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
LV.
文章
0
获赞
0
目录
  • 一、概述
    • Jenkins
      • Gitlab
        • Harbor
          • Rancher
            • k8s
              • 架构图
                • 架构图说明
                • 二、准备环境
                  • 环境说明
                    • 项目说明
                    • 三、Rancher操作
                      • mysql部署
                        • 代码配置
                          • sql导入
                            • Harbor配置
                              • 推送镜像
                                • admin-master部署
                                • 四、jenkins操作
                                相关产品与服务
                                容器服务
                                腾讯云容器服务（Tencent Kubernetes Engine, TKE）基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务，覆盖 Serverless、边缘计算、分布式云等多种业务部署场景，业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者，主导开源项目Crane，全面助力客户实现资源优化、成本控制。
                                产品介绍产品文档
                                领券

                                腾讯云开发者

                                扫码关注腾讯云开发者

                                扫码关注腾讯云开发者

                                领取腾讯云代金券

                                热门产品

                                热门推荐

                                更多推荐

                                Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

                                深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

                                腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

                                问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

                                Copyright © 2013 - 2024 Tencent Cloud.

                                All Rights Reserved. 腾讯云 版权所有

                                登录 后参与评论