Kubernetes中spinnaker的使用一
原创
背景：
spinnaker 1.26.6 on kubernetes，现在想到的做的跟jenkins流水线联动（添加多个jenkins环境配置）and 多kubernetes集群配置。
spinnaker Automated Triggers（触发器）
jenkins Trigger 触发器
关于jenkins的配置-spinnaker-nginx-demo
pipeline
关键词：
//Docker 镜像仓库信息
registryServer = "harbor.xxx.com"
projectName = "${JOB_NAME}".split('-')[0]
repoName = "${JOB_NAME}"
imageName = "${registryServer}/${projectName}/${repoName}"
//pipeline
pipeline{
agent { node { label "build01"}}
//设置构建触发器
triggers {
GenericTrigger( causeString: 'Generic Cause',
genericVariables: [[defaultValue: '', key: 'branchName', regexpFilter: '', value: '$.ref']],
printContributedVariables: true,
printPostContent: true,
regexpFilterExpression: '',
regexpFilterText: '',
silentResponse: true,
token: 'spinnaker-nginx-demo')
}
stages{
stage("CheckOut"){
steps{
script{
srcUrl = "https://gitlab.xxxx.com/xxxx/spinnaker-nginx-demo.git"
branchName = branchName - "refs/heads/"
currentBuild.description = "Trigger by ${branchName}"
println("${branchName}")
checkout([$class: 'GitSCM',
branches: [[name: "${branchName}"]],
doGenerateSubmoduleConfigurations: false,
extensions: [],
submoduleCfg: [],
userRemoteConfigs: [[credentialsId: 'gitlab-admin-user',
url: "${srcUrl}"]]])
}
}
}
stage("Push Image "){
steps{
script{
withCredentials([usernamePassword(credentialsId: 'harbor-admin-user', passwordVariable: 'password', usernameVariable: 'username')]) {
sh """
sed -i -- "s/VER/${branchName}/g" app/index.html
docker login -u ${username} -p ${password} ${registryServer}
docker build -t ${imageName}:${branchName} .
docker push ${imageName}:${branchName}
docker rmi ${imageName}:${branchName}
"""
}
}
}
}
stage("Trigger File"){
steps {
script{
sh """
echo IMAGE=${imageName}:${branchName} >trigger.properties
echo ACTION=DEPLOY >> trigger.properties
cat trigger.properties
"""
archiveArtifacts allowEmptyArchive: true, artifacts: 'trigger.properties', followSymlinks: false
}
}
}
}
}关于gitlab的配置
仓库copy自https://github.com/spinnakerusers/spinnaker-nginx-demo.git
spinnaker中的配置：
创建application
创建一个abcd的应用 授权yunweizu 读写可执行权限。devops组可读权限
创建pepiline-zhangpeng
至于webhook-stage
个人无聊做了一个微笑机器人发送构建信息的：
企业微信群聊中搞了一个微笑机器人如下：
Payload（可以自定义）
{
"msgtype": "text",
"text": {
"content": "流水线 ${execution['name']}运行中, 运行用户 ${execution['trigger']['user']}"
}
}
gitlab触发一下构建：
随便编辑一下git仓库里面的任一一个文件
点击webhoo 编辑查看触发状况
jenkins中查看
jenkins中构建标签为68
spinnaker构建发送通知感觉有点慢.....完了三分钟才收到构建信息
关于邮件的报警Notifications
halyard容器中：
qq邮箱 先生成密码
bash-5.0$ pwd
/home/spinnaker/.hal/default/profiles
bash-5.0$ cat echo-local.yml
mail:
enabled: true
from: xxxx@qq.com
spring:
mail:
host: smtp.qq.com
username: xxxx@qq.com
password: xxxxxx
protocol: smtp
default-encoding: utf-8
properties:
mail:
display:
sendname: SpinnakerAdmin
smtp:
port: 465
auth: true
starttls:
enable: true
required: true
ssl:
enable: true
transport:
protocol: smtp
debug: true
bash-5.0$ pwd
/home/spinnaker/.hal/default/profiles
bash-5.0$ cat settings-local.js
window.spinnakerSettings.feature.managedServiceAccounts = true;
window.spinnakerSettings.notifications.email.enabled = true;
bash-5.0$ hal deploy apply --no-validate
就可以收到邮件notification了
Webhook tigger 触发器
创建pipeline-zhangpeng1
curl触发测试
curl https://xxx.xxx.com/webhooks/webhook/zhangpeng1 -X POST
触发成功
注：这里没有加邮件或者stage webhook的微信提醒
Git Tigger 触发器
创建pipeline zhangpeng2
git仓库修改文件触发
webhook stage依然是触发微信机器人的步骤，现在在gitlab仓库中master分支修改一个文件
注：这里没有使用spinnaker-nginx-demo仓库，如果使用spinnaker-nginx-demo仓库应该触发zhangpeng and zhangpeng2 pipeline！
触发成功
Docker Registry tigger 触发器
这里使用了harbor就直接用harbor触发了。
但是出现了一个问题： 在Kubernetes搭建spinnaker服务中。我harbor用户使用了zhangpeng,but这个用户不是管理员，只是几个项目的管理者！这样是不可以的。用户应该是管理员。就因为权限问题我这这里尝试失败了好几次。
创建pipeline-zhangpeng3
上传镜像到harbor
验证触发成功
当然了还可以手动触发看一下：
第一条kubernetes下的流水线
创建一个project-demo
这里可以看到我的custers account 不是默认的default了。很简单的操作：config文件中修改了acclounts中的name还有primaryAccount然后hal deploy apply --no-validate
创建application-spinnaker-nginx-demo
依旧是创建application的流程并设置权限！
创建pipelines-spinnaker-nginx-demo
Manifest如下：
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
k8s-app: nginxdemo
name: nginxdemo
namespace: dev
spec:
replicas: 1
selector:
matchLabels:
k8s-app: nginxdemo
template:
metadata:
labels:
k8s-app: nginxdemo
name: nginxdemo
namespace: dev
spec:
containers:
- image: 'harbor.layame.com/spinnaker/spinnaker-nginx-demo:1.2.4'
imagePullPolicy: Always
name: nginxdemo
ports:
- containerPort: 80
name: web
protocol: TCP
imagePullSecrets:
- name: harbor-xxxrunning
正常的运行应该会跟下面一样报错：
应该是orca服务报错的。忘了哪一个截图的了
然后就：
cat cluster1.yaml
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: spinnaker-namespaces-admin-role
rules:
- apiGroups:
- ""
resources:
- namespaces
- namespaces/status
verbs:
- create
- get
- list
- watch
- update
- patch
- delete
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: spinnaker-namespaces-binding
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: spinnaker-namespaces-admin-role
subjects:
- kind: ServiceAccount
name: default
namespace: spinnakerkubectl apply -f cluster1.yaml没有报错了。但是依然部署不成功！我的k8s config有问题？
CONTEXT=$(kubectl config current-context)
hal config provider kubernetes account add my-k8s-account \
--context $CONTEXT
看了一眼 my-k8s-account配置多了一个kubeconfigFile！
照着layabox的 serviceaccount配置修改一下
hal deploy apply --no-validate等待pod重建完成退出spinnaker web控制台刷新缓存重新登陆！打开application-spinnaker-nginx-demo-pipelines-configure-spinnaker-nginx-demo
修改account为my-k8s-account 并保存配置save changes。
重新run一遍流水线
running 的时间忽略 harbor的仓库的key我写错了没有拉下来镜像！
还有一个问题。应该小伙伴们stage输入中文保存后都是乱码！这里在halyard配置：
/home/spinnaker/.hal/default/profiles目录下的有sql相关配置增加了?useSSL=false&useUnicode=true&characterEncoding=utf8
我是把有sql相关配置的应用都添加了这个配置！
简单的第一步吧这算是。后续进行更深入的玩法！
总结一下：
- habor or docker registry用户要为管理员
- kubernetes的key可能会没有权限根据我上面的文件搞一下。如果有namespace权限的 官网找一下clusterrole ClusterRoleBinding的配置
- 如果支持中文记得数据库配置增加?useSSL=false&useUnicode=true&characterEncoding=utf8
- 用户组的权限...嗯这个可以自己玩各种尝试了
- 添加多个jenkins harbor kubernetes集群的配置...可以看配置文件进行复制修改
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。