专栏首页李浩东的博客Gitlab CI 搭建持续集成环境实现Docker自动化部署使用Harbor镜像仓库

Gitlab CI 搭建持续集成环境实现Docker自动化部署使用Harbor镜像仓库

本文简单介绍了持续集成的概念并着重介绍了如何基于 Gitlab CI 快速构建持续集成环境以及使用Docker实现自动化部署,主要介绍了 Gitlab CI 的基本功能和入门操作流程

以Ubuntu16.04.4++Gitlab CI+Docker自动化部署SptingBoot项目+搭建Harbor镜像仓库

一. 概念

持续集成(Continuous Integration,简称CI)指的是,频繁地(一天多次)将代码集成到主干。持续集成的好处主要有两个:

  • 1.快速发现错误 每完成一点更新,就集成到主干,可以快速发现错误,定位错误也比较容易
  • 2.防止分支大幅偏离主干 如果不是经常集成,主干又在不断更新,会导致以后集成的难度变大,甚至难以集成。

持续集成的目的,就是让产品可以快速迭代,同时还能保持高质量。它的核心措施是,代码集成到主干之前,必须通过自动化测试。只要有一个测试用例失败,就不能集成。

二. 开始搭建

1.依赖包安装

sudo apt-get updatesudo apt-get install -y curl openssh-server ca-certificates

执行完成后,邮件配置时选择Internet即可.

2.GitLab安装

2.1官方教程

如果按照官方安装方法, 直接运行下列命令即可.

curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ee/script.deb.sh | sudo bashsudo apt-get install gitlab-ce

但按照官方教程安装会非常慢, 推荐使用下列方式, 利用清华源安装.

2.2清华源(推荐)

首先信任GitLab的GPG公钥

curl https://packages.gitlab.com/gpg.key 2> /dev/null | sudo apt-key add - &>/dev/null

接下来打开gitlab-ce.list文本

sudo vim /etc/apt/sources.list.d/gitlab-ce.list

然后写入如下内容

deb https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/ubuntu xenial main

最后:wq保存退出. 文本写入成功之后, 执行下列命令安装GitLab.

sudo apt-get updatesudo apt-get install gitlab-ce

出现以上界面说明安装成功

3.GitLab启动

安装完成之后启动GitLab

sudo gitlab-ctl reconfigure

打开sshd和postfix服务

service sshd startservice postfix start

最后输入下列命令, 检查GitLab是否成功运行.

sudo gitlab-ctl status

4.GitLab配置

4.1更改服务器IP地址

找到下列内容 我这边默认使用80端口 所以我只修改了external_url改为自己服务器地址

vim /etc/gitlab/gitlab.rbexternal_url http://192.168.201.170改为服务器的公网external_url http://你的ipnginx[listen_port] = 9091 #默认值即80端口 nginx[listen_port] = nilunicorn[port] = 9092#原值unicorn[port] = 8080

注意不要用8082,9090 端口,因为自带工具会用到

修改完后重新启动服务

gitlab-ctl reconfigure

检查是否正确运行

sudo gitlab-ctl status

gitlab的管理

关闭gitlab: # gitlab-ctl stop启动gitlab: # gitlab-ctl start重启gitlab: # gitlab-ctl restart

浏览器打开 http://172.17.1.107 wb页面并设置密

密码自定义设置 设置完之后 账号 root 密码 你刚才设置的 登录成功界面

我这边直接创建一个项目进行演示

在项目下面会有git的操作指南教你如何操作

至此,基于Ubuntu 16.04 x64操作系统的GitLab服务器搭建工作就完成了!具体详细教程可以看我这篇文章

GitLab 的介绍与安装配置 https://www.lhdyx.cn/article/75

本地操作git 在本地创建一个文件夹即可 命令就是官网的

下面我们操作我们的项目就是这样的 为下面打基础 现在安装Gitlba-Runner

二. Gitlab-Runner安装

curl https://packages.gitlab.com/gpg.key 2> /dev/null | sudo apt-key add - &>/dev/null

再选择你的 Ubuntu 版本,将下面的配置内容写进

vim /etc/apt/sources.list.d/gitlab-ci-multi-runner.list

文件不存在就新建该文件

deb https://mirrors.tuna.tsinghua.edu.cn/gitlab-ci-multi-runner/ubuntu xenial main

安装 gitlab-ci-multi-runner:

sudo apt-get updatesudo apt-get install gitlab-ci-multi-runner

启动gitlab-runner

gitlab-runner start

注册gitlab-runner 打开gitlab网站找到自己的项目下面的Runnnner

最主要的我们需要这些信息注册 执行注册命令

gitlab-runner register

参数解释:

绿色说明注册成功 这个时候我们就可以通过runner进行操作 四. 编写编写.gitlab-ci.yml文件 一般配置完Runner后都会有这个直接点击创建

内容为

stages:
  - deploy

docker-deploy:
  stage: deploy
  # 执行Job内容
  script:
    - echo 开始构建....
    - cd springboot-thymeleaf
    - echo 构建中....
    - mvn clean package
    - cd target/alpine-hwlogs/
    - docker build -t springboot .
    - echo 构建成功....
    - echo 发布中....
    - docker run -d -p 8000:8000 --name springboot springboot
    - echo 发布中成功!
  only:
    # 只有在master分支才会执行
    - master

大概意思为 进到项目路径打包创建docker镜像 然后运行

四.安装java1.8和 maven以及Docker

简单说下步骤

1. 安装java1.8

添加ppa
sudo add-apt-repository ppa:webupd8team/javasudo apt-get update
安装oracle-java-installer
sudo apt-get install oracle-java8-installer
设置系统默认jdk
sudo update-java-alternatives -s java-8-oracle
java安装测试
java -versionjavac -version

安装成功

2. 安装maven

1. 下载imaven的tar.gz安装包,下载路径如下:
http://maven.apache.org/download.cgi
2. 将压缩包复制到 /usr/local/maven 目录下(这个自定义的)
apache-maven-3.6.0-bin.tar.gz /usr/local/
3. 解压安装包
tar -zxvf apache-maven-3.6.0-bin.tar.gz
4. 设置环境变量
vim /etc/profile
在profile文件中加入如下内容:
export M2_HOME=/usr/local/maven/apache-maven-3.6.0export PATH=$M2_HOME/bin:$PATHexport CLASSPATH=.:$M2_HOME/lib

刷新

source /etc/profile
安装测试
mvn -v

3.安装Docker

前提条件 Docker 要求 Ubuntu 系统的内核版本高于 3.10 ,查看本页面的前提条件来验证你的 Ubuntu 版本是否支持 Docker。通过 uname -r 命令查看你当前的内核版本

runoob@runoob:~$ uname -r

使用脚本安装 Docker 1、获取最新版本的 Docker 安装包

wget -qO- https://get.docker.com/ | sh

输入当前用户的密码后,就会下载脚本并且安装Docker及依赖包。

安装完成后有个提示:

If you would like to use Docker as a non-root user, you should now consider
    adding your user to the docker group with something like:

    sudo usermod -aG docker runoob
   Remember that you will have to log out and back in for this to take effect!

当要以非root用户可以直接运行docker时,需要执行 sudo usermod -aG docker runoob 命令,然后重新登陆,否则会有如下报错

2、启动docker 后台服务

runoob@runoob:~$ sudo service docker start

3、测试运行hello-world

runoob@runoob:~$ docker run hello-world

因为没有镜像 需要去下载 镜像加速 鉴于国内网络问题,后续拉取 Docker 镜像十分缓慢,我们可以需要配置加速器来解决,我使用的是网易的镜像地址:

http://hub-mirror.c.163.com

新版的 Docker 使用 /etc/docker/daemon.json(Linux) 或者 %programdata%\docker\config\daemon.json(Windows) 来配置 Daemon

请在该配置文件中加入(没有该文件的话,请先建一个):

{  registry-mirrors: [http://hub-mirror.c.163.com]}

五. 项目准备

准备一个SpringBoot项目并编写Dockerfile文件以及maven插件操作

1.SpringBoot项目: 一个简单项目 访问返回信息 2.Dockerfile内容如下

#  基础镜像
FROM java:openjdk-8-jre-alpine
# 维护者信息
MAINTAINER lihaodongmail@163.com
#Default to UTF-8 file.encoding
ENV LANG C.UTF-8
#设置alpine时区
ENV TIMEZONE Asia/Shanghai
#alpine自带的包含dl-cdn的域名非常慢,需要修改后才能下载数据。
#RUN apk add -U tzdata && ln -snf /usr/share/zoneinfo/${TIMEZONE} /etc/localtime && echo ${TIMEZONE} > /etc/timezone
#RUN sed -i -e s/dl-cdn/dl-4/g /etc/apk/repositories && apk add -U tzdata && ln -snf /usr/share/zoneinfo/${TIMEZONE} /etc/localtime && echo ${TIMEZONE} > /etc/timezone

#添加应用
ADD springboot-thymeleaf-0.0.1-SNAPSHOT.jar springboot-thymeleaf-0.0.1-SNAPSHOT.jar
#参数
#ENV PARAMS=
#执行操作
ENTRYPOINT [ sh, -c, java -Xmx50m -Djava.security.egd=file:/dev/./urandom -jar springboot-thymeleaf-0.0.1-SNAPSHOT.jar ]

3.然后运用maven插件

<plugin>
                <artifactId>maven-resources-plugin</artifactId>
                <executions>
                    <execution>
                        <id>copy-resources</id>
                        <phase>validate</phase>
                        <goals>
                            <goal>copy-resources</goal>
                        </goals>
                        <configuration>
                            <outputDirectory>${project.build.directory}/alpine-hwlogs</outputDirectory>
                            <resources>
                                <resource>
                                    <directory>src/main/docker</directory>
                                    <filtering>true</filtering>
                                </resource>
                            </resources>
                        </configuration>

                    </execution>
                </executions>
            </plugin>
            <!-- copy文件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-antrun-plugin</artifactId>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>run</goal>
                        </goals>
                        <configuration>
                            <tasks> <!-- 你将要拷贝的位置 -->
                                <copy todir=${project.build.directory}/alpine-hwlogs>
                                    <!-- 从哪里拷贝 -->
                                    <fileset dir=${project.build.directory}>
                                        <!-- 拷贝内容 -->
                                        <include name=*.jar/>  
                                    </fileset>
                                </copy>
                            </tasks>
                        </configuration>
                    </execution>
                </executions>
            </plugin>

大概意思为打包时在target下创建lpine-hwlogs文件夹并把Dockerfile文件,打包好的jar包copy到lpine-hwlogs目录下

六.上传GitLab测试

现在我把SpringBoot项目上传到GitLab看下效果

过程就是把项目push到gitlab仓库 现在打开gitlab看下我们的runner有没有执行

已经在执行我写的脚本 maven打包下载依赖等 稍等一会

说我没有权限 才想起来 运行gitlab-runnner的是gitlab-runnner用户

添加gitlab-runner用户 重启docker 然后重试任务

再次查看运行情况

已经搞定

登录服务查看镜像情况以及浏览器服务测试下

打开浏览器访问: http://172.17.1.107:8000/index

搞定!

七. 安装Harbor搭建镜像仓库

官方文档:https://github.com/goharbor/harbor/blob/master/docs/installation_guide.md

1 环境依赖:docker docker-compose

1.1 下载docker:

Ubuntu16 可参考 https://blog.csdn.net/jinking01/article/details/82490688

其它系统可参考:http://www.runoob.com/docker/ubuntu-docker-install.html

我的服务器是在阿里云上,直接运行:

apt-get install docker.io

注:

检测安装结果:docker -v

1.2 下载docker-compose

阿里云上:apt-get install docker-compose

官网教程参考:https://docs.docker.com/compose/install/#install-compose

1.2.1 官网解决方案一(Linux):(问题:我遇到问题就是下载速度太慢)

sudo curl -L https://github.com/docker/compose/releases/download/1.23.2/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-composesudo chmod +x /usr/local/bin/docker-compose`

1.2.2 官网解决方案二:用python的pip工具

pip install docker-compose

注:

检测安装情况:

docker-compose --version

1.3 下载Harbor

官网地址:https://github.com/goharbor/harbor/releases

1.3.1 复制地址,运行wget url:

wget https://storage.googleapis.com/harbor-releases/release-1.7.0/harbor-online-installer-v1.7.1.tgz

注:下载速度太慢,可以windows上下载下来然后copy到服务器上 创建 /usr/local/harbor文件夹 然后授权

将下载的包传到服务器解压即可

1.3.2 解压:

tar -xvf harbor-online-installer-v1.7.1.tgz

2 配置harbor

2.1 修改harbor.cfg

cd harborvim harbor.cfg

将 hostname的值修改成本机IP,比如198.127.0.1

部分配置含义:

#配置访问的地址hostname = 198.127.0.1#使用http方式访问管理界面ui_url_protocol = http#配置admin的密码,默认是Harbor12345harbor_admin_password = 12345#更改harbor存储路径,默认是/datasecretkey_path = /mnt/vdc/harbor_data

2.2 开始安装:

./install.sh

docker要pull很多东西 等下就好了

发现启动nginx发现报错 我们都知道默认80端口 那需要修改harbor里的nginx的默认端口配置:

第一种:

2.3.1 修改docker-compose.yml

vim docker-compose.yml

例如 修改80:80 为 81:80

2.3.2修改config.xml,在$publicurl()后增加 :81

vim common/templates/registry/config.yml

2.3.3重新生成配置文件

sudo ./prepare

2.4 启动Harbor:

docker-compose up -d

停止命令

docker-compose down -v

2.4.1 进入Harbor的UI界面

(端口默认是80,nginx如果修改了端口映射(比如上面的81:80),那端口就是81):IP:Port

Eg: 172.17.101:81

Harbor默认用户名:adminHarbor

默认密码:Harbor12345

我之前有做修改为123456

登录成功后

创建一个test项目

既然Harbor搭建完成了 test项目也新建完成了 那我们就需要将docker的镜像上传到我们的私仓里

在我们之前装的docker修改insecure-registry

文件目录:/etc/docker/daemon.json (没有则新建该文件)

vim /etc/docker/daemon.json

然后重启docker:

service docker restart

docker push镜像:

登录Harbor
docker login 172.17.1.101:81

输入

用户名admin密码12345

登录成功后 我们把之前的springboot镜像上传到Harbor

使用镜像源创建一个指定镜像的标签 推送镜像到Harbor

八 查看成果

登录Harbor 查看test项目

完美!然后就可以随意push pull了

本文测试SpringBoot项目源码:

https://github.com/LiHaodong888/dockerexample

本文分享自微信公众号 - 李浩东的博客(lihaodong_blog),作者:小东啊

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-04-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Docker 入门到实战教程(二)安装Docker

    较旧的 Docker 版本称为 docker 或 docker-engine 。如果已安装这些程序,请卸载它们以及相关的依赖项。

    小东啊
  • Docker 入门到实战教程(七)安装Redis

    Redis是有状态的,重启容器后数据和配置文件将清空,所以我将采用本地文件挂载方式

    小东啊
  • Docker 入门到实战教程(三)镜像和容器

    Docker完美融合Linux,所以Docker命令行的风格和Linux还是比较接近的,相对来说比较容易上手,首先,我们先说镜像相关的命令:

    小东啊
  • Docker导入(import)与导出(export)容器

    AlicFeng
  • docker下安装gitlab

    用下面的命令启动一个默认配置的Gitlab。如果我们只在本机测试使用的话,将hostname替换为localhost。如果需要让外部系统也能访问的话使用外网IP...

    菲宇
  • .NET Core开发的iNeuOS工业互联平台,iNeuKernel物联网核心组件在Docker容器中部署。

          最近有客户需求:把iNeuOS部署在Docker下。以前实践过部署在Linux的Ubuntu和树莓派中。参见:https://www.cnblogs...

    唯笑志在
  • Springcloud +Gitlab+ Rancher2.0+Kubernetes微服务持续集成

    用户4044670
  • 如何删除无效的<none>Docker镜像?

    为什么会有 <none> 这样命名的镜像?这些镜像 docker 称为 虚悬镜像,当镜像被新的镜像覆盖时候,老版本镜像名称会变成 <none> 。

    用户1560186
  • 轻量级容器Docker起步

    image.png 目标 安装并启动Docker服务,下载一个ubuntu的基础镜像,启动容器,在容器中输出 ‘hello world’ 安装 Docker需...

    dys
  • I-team博客的gitlab-runner持续集成实践

    做为一个略微看过nodejs语法,但又不懂nodejs的攻城狮,搭建hexo环境很是麻烦,要考虑到翻墙、版本兼容等问题。于是乎,博主每换一个电脑,为了能继续发博...

    haifeiWu

扫码关注云+社区

领取腾讯云代金券