在部署应用程序的方式上,主要经历了三个时代:
容器化部署方式给带来很多的便利,但是也会出现一些问题,比如说:
这些容器管理的问题统称为容器编排问题,为了解决这些容器编排问题,就产生了一些容器编排的软件:
kubernetes,是一个全新的基于容器技术的分布式架构领先方案,是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本,于2014年9月发布第一个版本,2015年7月发布第一个正式版本。
kubernetes的本质是一组服务器集群,它可以在集群的每个节点上运行特定的程序,来对节点中的容器进行管理。目的是实现资源管理的自动化,主要提供了如下的主要功能:
一个kubernetes集群主要是由控制节点(master),工作节点(node)构成,每个节点上都会安装不同的组件。
master:集群的控制平面,负责集群的决策 ( 管理 )
ApiServer : 资源操作的唯一入口,接收用户输入的命令,提供认证、授权、API注册和发现等机制 Scheduler : 负责集群资源调度,按照预定的调度策略将Pod调度到相应的node节点上 ControllerManager : 负责维护集群的状态,比如程序部署安排、故障检测、自动扩展、滚动更新等 Etcd :负责存储集群中各种资源对象的信息
node:集群的数据平面,负责为容器提供运行环境 ( 干活 )
Kubelet : 负责维护容器的生命周期,即通过控制docker,来创建、更新、销毁容器 KubeProxy : 负责提供集群内部的服务发现和负载均衡 Docker : 负责节点上容器的各种操作
下面,以部署一个nginx服务来说明kubernetes系统各个组件调用关系:
这样,外界用户就可以访问集群中的nginx服务了
Master:集群控制节点,每个集群需要至少一个master节点负责集群的管控
Node:工作负载节点,由master分配容器到这些node工作节点上,然后node节点上的docker负责容器的运行
Pod:kubernetes的最小控制单元,容器都是运行在pod中的,一个pod中可以有1个或者多个容器
Controller:控制器,通过它来实现对pod的管理,比如启动pod、停止pod、伸缩pod的数量等等
Service:pod对外服务的统一入口,下面可以维护着同一类的多个pod
Label:标签,用于对pod进行分类,同一类pod会拥有相同的标签
NameSpace:命名空间,用来隔离pod的运行环境
● Kubernetes集群大致分为两类:一主多从和多主多从。 ● 一主多从:一个Master节点和多台Node节点,搭建简单,但是有单机故障风险,适合用于测试环境。 ● 多主多从:多台Master和多台Node节点,搭建麻烦,安全性高,适合用于生产环境。
为了测试方便,本次搭建的是一主多从类型的集群。
● kubernetes有多种部署方式,目前主流的方式有kubeadm、minikube、二进制包。
● ① minikube:一个用于快速搭建单节点的kubernetes工具。 ● ② kubeadm:一个用于快速搭建kubernetes集群的工具。 ● ③ 二进制包:从官网上下载每个组件的二进制包,依次去安装,此方式对于理解kubernetes组件更加有效。
● 我们需要安装kubernetes的集群环境,但是又不想过于麻烦,所以选择kubeadm方式。
角色 | IP地址 | 操作系统 | 配置 |
---|---|---|---|
Master | 192.168.xxx,xxx | CentOS7.8+,基础设施服务器 | 2核CPU,2G内存,50G硬盘 |
Node1 | 192.168.xxx,xxx | CentOS7.8+,基础设施服务器 | 2核CPU,2G内存,50G硬盘 |
Node2 | 192.168.xxx,xxx | CentOS7.8+,基础设施服务器 | 2核CPU,2G内存,50G硬盘 |
准备三台虚拟机或者云服务器。
没有特殊说明,就是三台机器都需要执行。
检查操作系统的版本(要求操作系统的版本至少在7.5以上):
centos:
cat /etc/redhat-release
ubuntu:
cat /etc/issue
关闭防火墙:
systemctl stop firewalld
禁止防火墙开机启动:
systemctl disable firewalld
hostnamectl set-hostname <hostname>
就像服务发现是通过注册上去的服务名进行路由的一样,类似域名功能
三台主机的主机名可以分别设置为如下示例:
hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1
hostnamectl set-hostname k8s-node2
为了方便后面集群节点间的直接调用,需要配置一下主机名解析,企业中推荐使用内部的DNS服务器。
echo "192.168.112.130 k8s-master 192.168.112.129 k8s-node1 192.168.112.134 k8s-node2 " >> /etc/hosts
yum install ntpdate -y
ntpdate time.windows.com
getenforce
sed -i 's/enforcing/disabled/' /etc/selinux/config
setenforce 0
sed -ri 's/.*swap.*/#&/' /etc/fstab
swapoff -a
echo
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
>> /etc/sysctl.d/k8s.conf
# 加载br_netfilter模块
modprobe br_netfilter
# 查看是否加载
lsmod | grep br_netfilter
# 生效
sysctl --system
● 在kubernetes中service有两种代理模型,一种是基于iptables,另一种是基于ipvs的。ipvs的性能要高于iptables的,但是如果要使用它,需要手动载入ipvs模块。
● 在每个节点安装ipset和ipvsadm:
yum -y install ipset ipvsadm
在所有节点执行如下脚本:
echo
"#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4 "
>> /etc/sysconfig/modules/ipvs.modules
授权、运行、检查是否加载:
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
检查是否加载:
lsmod | grep -e ipvs -e nf_conntrack_ipv4
重启三台Linux机器:
reboot
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
yum list docker-ce --showduplicates
必须指定–setopt=obsoletes=0,否则yum会自动安装更高版本
yum install --setopt=obsoletes=0 docker-ce-18.06.3.ce-3.el7 -y
Docker在默认情况下使用的Cgroup Driver为cgroupfs,而kubernetes推荐使用systemd来代替cgroupfs
mkdir /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": ["https://du3ia00u.mirror.aliyuncs.com"],
"live-restore": true,
"log-driver":"json-file",
"log-opts": {"max-size":"500m", "max-file":"3"},
"storage-driver": "overlay2"
}
EOF
# 启动docker
systemctl start docker
# 开机启动
systemctl enable docker
由于Kubernetes的镜像源在国外,速度比较慢,这里切换成国内的镜像源
编辑/etc/yum.repos.d/kubernetes.repo,添加下面的配置
echo
"
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
"
>> /etc/yum.repos.d/kubernetes.repo
安装kubeadm,kubelet和kubectl
yum install kubeadm-1.17.4-0 kubelet-1.17.4-0 kubectl-1.17.4-0 -y
配置kubelet的cgroup
# 编辑/etc/sysconfig/kubelet,添加下面的配置
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"
设置kubelet开机自启
systemctl enable kubelet
在master上操作:
# 由于默认拉取镜像地址 k8s.gcr.io 国内无法访问,这里指定阿里云镜像仓库地址
# apiserver-advertise-address 需要写自己的master主机的ip
kubeadm init \
--apiserver-advertise-address=192.168.112.130 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version=v1.17.7 \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=10.96.0.0/12
#使用 kubectl 工具
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
然后我们需要将node 节点加入集群中,在 node 服务器 上执行红框的命令加入到master
注意: 默认的token有效期为2小时,当过期之后,该token就不能用了,这时可以使用如下的命令创建token:
kubeadm token create --print-join-command
# 生成一个永不过期的token
kubeadm token create --ttl 0 --print-join-command
在主节点上查询当前集群中有哪些节点:
kubectl get nodes
但是我们这个时候查看集群状态都是为NotReady,这是因为还没有配置网络插件
kubernetes支持多种网络插件,比如flannel、calico、canal等等,任选一种即可,本次选择flannel。
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
修改 quay.io 为 quay-mirror.qiniu.com 因为国内 quay.io 不好访问到
如果下载不到的报错 连接失败什么的
可以使用本人提供的,当然,你也可以安装calico,推荐安装calico。
使用配置文件启动fannel
kubectl apply -f kube-flannel.yml
查看部署CNI网络插件进度:
kubectl get pods -n kube-system
稍等片刻,再次查看集群状态:
kubectl get nodes
查看集群健康状况:
kubectl get cs
kubectl cluster-info
● 在Kubernetes集群中部署一个Nginx程序,测试下集群是否正常工作。
部署Nginx:
kubectl create deployment nginx --image=nginx:1.14-alpine
暴露端口:
kubectl expose deployment nginx --port=80 --type=NodePort
查看服务状态:
kubectl get pods,svc
在防火墙关闭或者31661端口开放的情况下,浏览器直接访问该端口应该就可以看到nginx首页
任意节点均可通过ip加端口的方式访问,即视为测试成功,否则说明存在问题,可优先考虑是否为网络插件问题。
如果安装的是calico网络插件,并且安装后发现对应的calico/node is not ready,可以先查看对应node的日志信息,如果是关于:
#查看对应node的日志信息
kubectl describe pods calico-node-4n8mg -n kube-system
#日志信息输出如下:
BIRD is not ready: BGP not established with 172.19.77.23
那么解决方法如下:
官方提供的yaml文件中,ip识别策略(IPDETECTMETHOD)没有配置,即默认为first-found,这会导致一个网络异常的ip作为nodeIP被注册,从而影响node-to-node mesh。
我们可以修改成can-reach或者interface的策略,尝试连接某一个Ready的node的IP,以此选择出正确的IP。
kubectl apply -f calico.yaml