专栏首页CU技术社区【Kubernetes系列】第3篇 Kubernetes集群安装部署

【Kubernetes系列】第3篇 Kubernetes集群安装部署

本文介绍了如何通过Kubespray来进行部署高可用k8s集群,k8s版本为1.12.5。

1

部署手册

代码仓库:https://github.com/kubernetes-sigs/kubespray

参考文档:https://kubespray.io/#/

2

k8s master机器配置

3

k8s 集群安装步骤

step1: 设置主机间的免密登录

由于kubespray是依赖于ansible,ansible通过ssh协议进行主机之间的访问,所以部署之前需要设置主机之间免密登录,步骤如下:

ssh-keygen -t rsa
scp ~/.ssh/id_rsa.pub root@IP:/root/.ssh
ssh root@IP
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

step2: 下载kubespray

注意:不要通过使用github仓库master分支的代码,我这里使用的是tag v2.8.3进行部署

wget https://github.com/kubernetes-sigs/kubespray/archive/v2.8.3.tar.gz
tar -xvf v2.8.3
cd kubespray-v2.8.3

step3: 配置调整

3.1 更换镜像

Kubernetes安装大部分都是使用的国外的镜像,由于防火墙原因没有办法获取到这些镜像,所以需要自己创建镜像仓库并将这些镜像获取到上传到镜像仓库中。

3.1.1 新建镜像仓库

镜像仓库我们选用的组件是Harbor,安装步骤参考:

https://github.com/goharbor/harbor/blob/master/docs/installation_guide.md

3.1.2 整理k8s集群部署中需要使用的镜像

在文件roles/download/defaults/main.yml文件中,可以看到使用的全量镜像列表,注意某些镜像由于功能未使用的原因所以暂时没有用到,我们主要用到有如下镜像:

3.1.3 下载所需镜像并上传至私有镜像仓库

使用的镜像列表如下,在这里我申请了一台国外的阿里云主机,在该台主机下载所需镜像然后上传至私有镜像仓库

例如操作某个镜像时,需要执行如下命令:

docker pull gcr.io/google_containers/kubernetes-dashboard-amd64:v1.10.0
docker tag gcr.io/google_containers/kubernetes-dashboard-amd64:v1.10.0 106.14.219.69:5000/google_containers/kubernetes-dashboard-amd64:v1.10.0
docker push 106.14.219.69:5000/google_containers/kubernetes-dashboard-amd64:v1.10.0
3.1.4 更改镜像地址并修改Docker配置

在inventory/testcluster/group_vars/k8s-cluster/k8s-cluster.yml文件中添加如下配置:

# kubernetes image repo define
kube_image_repo: "10.0.0.183:5000/google_containers"
## modified by: robbin
# comment: 将使⽤的组件的镜像仓库修改为私有镜像仓库地址
etcd_image_repo: "10.0.0.183:5000/coreos/etcd"
coredns_image_repo: "10.0.0.183:5000/coredns"
calicoctl_image_repo: "10.0.0.183:5000/calico/ctl"
calico_node_image_repo: "10.0.0.183:5000/calico/node"
calico_cni_image_repo: "10.0.0.183:5000/calico/cni"
calico_policy_image_repo: "10.0.0.183:5000/calico/kube-controllers"
hyperkube_image_repo: "{{ kube_image_repo }}/hyperkube-{{ image_arch }}"
pod_infra_image_repo: "{{ kube_image_repo }}/pause-{{ image_arch }}"
dnsautoscaler_image_repo: "{{ kube_image_repo }}/cluster-proportional-autoscaler-{
{ image_arch }}"
dashboard_image_repo: "{{ kube_image_repo }}/kubernetes-dashboard-{{ image_arch }}"
由于我们的私有镜像仓库未配置https证书,需要在 inventory/testcluster/group_vars/all/docker.yml文件中添加如下配置:
docker_insecure_registries:
- 10.0.0.183:5000

3.2 Docker安装源更改以及执行文件预处理

3.2.1 Docker安装源更改

由于默认从Docker官方源安装docker,速度非常慢,这里我们更换为国内阿里源,在inventory/testcluster/group_vars/k8s-cluster/k8s-cluster.yml文件中添加如下配置:

# CentOS/RedHat docker-ce repo
docker_rh_repo_base_url: 'https://mirrors.aliyun.com/docker-ce/linux/centos/7/$basearch/stable'
docker_rh_repo_gpgkey: 'https://mirrors.aliyun.com/docker-ce/linux/centos/gpg'
dockerproject_rh_repo_base_url: 'https://mirrors.aliyun.com/docker-engine/yum/repo/main/centos/7'
dockerproject_rh_repo_gpgkey: 'https://mirrors.aliyun.com/docker-engine/yum/gpg'
3.2.2 可执行文件预处理

另外由于需要从google以及github下载一些可执行文件,由于防火墙原因无法直接在服务器上下载,我们可以预先将这些执行文件下载好,然后上传到指定的服务器路径中

可执行文件下载地址可以在roles/download/defaults/main.yml文件中查找到,下载路径如下:

kubeadm_download_url: "https://storage.googleapis.com/kubernetes-release/release/v
1.12.5/bin/linux/amd64/kubeadm"
hyperkube_download_url: "https://storage.googleapis.com/kubernetes-release/release
/v1.12.5/bin/linux/amd64/hyperkube"
cni_download_url: "https://github.com/containernetworking/plugins/releases/downloa
d/v0.6.0/cni-plugins-amd64-v0.6.0.tgz"

接下来修改文件权限,并上传到每台服务器的/tmp/releases目录下

chmod 755 cni-plugins-amd64-v0.6.0.tgz hyperkube kubeadm
scp cni-plugins-amd64-v0.6.0.tgz hyperkube kubeadm root@node1:/tmp/releases

3.3 组件列表

k8s所需要的组件

可选插件列表

3.4 DNS方案

k8s的服务发现依赖于DNS,涉及到两种类型的网络:主机网络和容器网络,所以Kubespray提供了两种配置来进行管理

3.4.1 dns_mode

dns_mode 主要用于集群内的域名解析,有如下几种类型,我们的技术选型是coredns,注意:选择某种dns_mode,可能需要下载安装多个容器镜像,其镜像版本也可能不同

3.4.2 resolvconf_mode

resolvconf_mode主要用来解决当容器部署为host网络模式的时候,如何使用k8s的dns,这里我们使用的是docker_dns

resolvconf_mode: docker_dns

3.5 网络插件选择

3.5.1 kube-proxy

kube-proxy可以选择ipvs或者iptables,在这里我们选择的是ipvs模式,关于这两者的区别可以参考 华为云在 K8S 大规模场景下的 Service 性能优化实践(https://zhuanlan.zhihu.com/p/37230013)

3.5.2 网络插件列表

网络插件列表如下,我们的技术选型是calico,注意:选择某种网络插件,可能需要一个或多个容器镜像,其镜像版本也可能不同

3.6 高可用方案

step4: 按照如下步骤进行安装部署

# Install dependencies from ``requirements.txt``
sudo pip install -r requirements.txt
# Copy `inventory/sample` as `inventory/mycluster`
cp -rfp inventory/sample inventory/mycluster
# Update Ansible inventory file with inventory builder
declare -a IPS=(10.10.1.3 10.10.1.4 10.10.1.5)
CONFIG_FILE=inventory/mycluster/hosts.ini python3 contrib/inventory_builder/invent
ory.py ${IPS[@]}
# Review and change parameters under `inventory/mycluster/group_vars`
cat inventory/mycluster/group_vars/all/all.yml
cat inventory/mycluster/group_vars/k8s-cluster/k8s-cluster.yml
# Deploy Kubespray with Ansible Playbook - run the playbook as root
# The option `-b` is required, as for example writing SSL keys in /etc/,
# installing packages and interacting with various systemd daemons.
# Without -b the playbook will fail to run!
ansible-playbook -i inventory/mycluster/hosts.ini --become --become-user=root clus
ter.yml

部署完成,可以登录到k8s-master所在的主机,执行如下命令,可以看到各个组件正常

kubectl cluster-info
kubectl get node
kubectl get pods --all-namespaces

本文分享自微信公众号 - CU技术社区(ChinaUnix2013)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-18

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 人大代表建议:扩大国产数据库金融领域试点

    “站在国家利益的高度,使用国外数据库,尤其是美国企业的数据库,无疑将给我国带来巨大的信息安全风险,这就迫切需要从国家层面推动相关行业变革。”5月24日,全国人大...

    用户6543014
  • Linux 系统 CPU 100% 异常排查实践与总结

    昨天下午突然收到运维邮件报警,显示数据平台服务器cpu利用率达到了98.94%,而且最近一段时间一直持续在70%以上,看起来像是硬件资源到瓶颈需要扩容了,但仔细...

    用户6543014
  • OpenAI宣布多项目转向PyTorch构建;全球最大太阳望远镜发布最“高清”太阳照片|ITDaily

    当地时间1月29日,位于夏威夷毛伊岛的世界最大太阳望远镜DKIST发布了首张照片。这是人类历史上最细致的一张太阳图像,表面翻滚着等离子,呈现出细胞状结构,每个结...

    用户6543014
  • 我是如何走上JVM这条贼船的?

    寒泉子:阿里jvm专家,主要围绕jvm发表系列文章,现有个人微信公众号:“你假笨”(ID:lovestblog)

    养码场
  • FPGA程序升级

    Xilinx的双镜像方案成为Multiboot。本文对Xilinx 7系列的MulTIboot做一些简单介绍。

    瓜大三哥
  • 利用WinPE在公有云≥2G内存的Win2008R2机器上安装2003系统

    在≥2G内存的2008/2012/2016的公共镜像系统上安装2003,请确保系统盘没有业务数据

    我爱你的一诺
  • Docker 系列二(操作镜像).

        -- Docker 镜像仓库地址 :一般是 域名或者IP[:端口号]。默认地址是 Docker Hub     -- 仓库名 :两段式名称,即 用户名/...

    JMCui
  • 关于 Java 你不知道的十件事

    作为Java 控,我们总是对不太可能直接使用,但能使我们更了解 Java 和 Java 虚拟机(Java Virtual Machine,JVM) 的晦涩细节感...

    哲洛不闹
  • Dockerfile指令

    编写 Dockerfile 文件之后,可以通过 docker [image] build 命令来创建镜像,语法命令如下:

    喵叔
  • Docker镜像创建

    创建镜像有两种方式: 1、从已经创建的容器中更新镜像,并且提交这个镜像 2、使用 Dockerfile 指令来创建一个新的镜像

    李小白是一只喵

扫码关注云+社区

领取腾讯云代金券