安装nginx-ingress(上)

原创

虚心学习

修改于 2020-01-16 14:51:29

3K0

修改于 2020-01-16 14:51:29

文章被收录于专栏：PAASPAAS

理解什么是ingress

官方对ingress的介绍：

An API object that manages external access to the services in a cluster, typically HTTP.

Ingress can provide load balancing, SSL termination and name-based virtual hosting.

可以理解为是一种通过http协议暴露kubernetes内部服务的api对象，就是一个全局的负载均衡器，可以通过访问URL定位到后端的Service，功能实现其实就是“反向代理”。

有了Ingress这个对象，K8S就不需要关心Ingress的细节了，实际使用时，只需要选择一个具体的Ingress Controller进行部署，一个Ingress对象的主要内容，就类似Nginx的配置文件描述，对应的转发规则就是ingressRule，就可以根据需求选择Ingress Controller，例如，如果应用对代理服务的中断非常敏感，可以使用Treafik这样的Ingress Controller

Ingress工作在七层，Service工作在四层，当想要在Kubernetes里为应用进行TLS配置等HTTPS相关操作时，都必须通过Ingress来实现。

Ingress 工作原理

ingress controller通过和kubernetes api交互，动态的去感知集群中ingress规则变化，然后读取它，按照自定义的规则，规则就是写明了哪个域名对应哪个service，生成一段nginx配置，再写到nginx-ingress-control的pod里，这个Ingress controller的pod里运行着一个Nginx服务，控制器会把生成的nginx配置写入/etc/nginx.conf文件中，然后reload一下使配置生效。

以此达到域名分配置和动态更新的问题

包括的组件

1、Ingress：负责定义ingress配置的转发规则，将请求转发给Ingress Controller；

2、Ingress Controller：核心组件，用于七层转发；

3、Ingress配置规则：Controller控制器通过service服务发现机制动态实现后端Pod路由转发规则；

4、Ingress-Controller-service：kuberntes中四层的负载均衡调度机制，Ingress借助service的服务发现机制实现集群中Pod资源的动态感知，用于接入外部流量；

5、Pod：后端实际负责响应请求容器，由控制器创建，通过标签Labels进行找到对应服务。

安装前思考

目前常见的部署和暴露方式，具体使用哪种方式还是得根据实际需求来考虑决定。

1、Deployment+LoadBalancer模式的Service：

如果要把ingress部署在公有云，那用这种方式比较合适。用Deployment部署ingress-controller，创建一个type为LoadBalancer的service关联这组pod。大部分公有云，都会为LoadBalancer的service自动创建一个负载均衡器，通常还绑定了公网地址。只要把域名解析指向该地址，就实现了集群服务的对外暴露。

2、Deployment+NodePort模式的Service：

同样用deployment模式部署ingress-controller，并创建对应的服务，但是type为NodePort。这样，ingress就会暴露在集群节点ip的特定端口上。由于nodeport暴露的端口是随机端口，一般会在前面再搭建一套负载均衡器来转发请求。该方式一般用于宿主机是相对固定的环境ip地址不变的场景。

NodePort方式暴露ingress虽然简单方便，但是NodePort多了一层NAT，在请求量级很大时可能对性能会有一定影响。

3、DaemonSet+HostNetwork+nodeSelector：

用DaemonSet结合nodeselector来部署ingress-controller到特定的node上，然后使用HostNetwork直接把该pod与宿主机node的网络打通，直接使用宿主机的80/433端口就能访问服务。这时，ingress-controller所在的node机器就很类似传统架构的边缘节点，比如机房入口的nginx服务器。该方式整个请求链路最简单，性能相对NodePort模式更好。缺点是由于直接利用宿主机节点的网络和端口，一个node只能部署一个ingress-controller pod。比较适合大并发的生产环境使用。

开始安装Nginx ingress

通过官方源：https://github.com/nginxinc/kubernetes-ingress，可以得知安装Nginx Ingress Controller控制器方式包含两种：DaemonSets和Deployments。

DaemonSets是通过hostPort的方式暴露80和443端口，可通过Node的调度由专门的节点实现部署

Deployments是通过NodePort的方式实现控制器端口的暴露，借助外部负载均衡实现高可用负载均衡

除此之外，还需要部署Namespace，ServiceAccount，RBAC，Secrets，Custom Resource Definitions等资源。

本文以在腾讯云TKE集群进行操作nginx-ingress安装部署。

下载源码包

git clone https://github.com/nginxinc/kubernetes-ingress.git

部署文件在kubernetes-ingress/deployments/目录下

[root@VM_16_11_centos deployments]# tree .
.
|-- common
|   |-- custom-resource-definitions.yaml
|   |-- default-server-secret.yaml
|   |-- nginx-config.yaml
|   `-- ns-and-sa.yaml
|-- daemon-set
|   |-- nginx-ingress.yaml
|   `-- nginx-plus-ingress.yaml
|-- deployment
|   |-- nginx-ingress.yaml
|   `-- nginx-plus-ingress.yaml
|-- helm-chart
|   |-- chart-icon.png
|   |-- Chart.yaml
|   |-- README.md
|   |-- templates
|   |   |-- controller-configmap.yaml
|   |   |-- controller-custom-resources.yaml
|   |   |-- controller-daemonset.yaml
|   |   |-- controller-deployment.yaml
|   |   |-- controller-leader-election-configmap.yaml
|   |   |-- controller-secret.yaml
|   |   |-- controller-serviceaccount.yaml
|   |   |-- controller-service.yaml
|   |   |-- controller-wildcard-secret.yaml
|   |   |-- _helpers.tpl
|   |   |-- NOTES.txt
|   |   `-- rbac.yaml
|   |-- values-icp.yaml
|   |-- values-plus.yaml
|   `-- values.yaml
|-- rbac
|   `-- rbac.yaml
|-- README.md
`-- service
    |-- loadbalancer-aws-elb.yaml
    |-- loadbalancer.yaml
    `-- nodeport.yaml

1、创建Namespace和ServiceAccount, kubectl apply -f common/default-server-secret.yaml 内容与源文件一致，不做展示。

2、创建Secrets自签名证书，kubectl apply -f common/default-server-secret.yaml

这里需进行操作下key文件替换，源文件：

apiVersion: v1
kind: Secret
metadata:
  name: default-server-secret
  namespace: nginx-ingress
type: Opaque
data:
  tls.crt: LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSUN2akNDQWFZQ0NRREFPRjl0THNhWFhEQU5CZ2txaGtpRzl3MEJBUXNGQURBaE1SOHdIUVlEVlFRRERCWk8KUjBsT1dFbHVaM0psYzN
ORGIyNTBjbTlzYkdWeU1CNFhEVEU0TURreE1qRTRNRE16TlZvWERUSXpNRGt4TVRFNApNRE16TlZvd0lURWZNQjBHQTFVRUF3d1dUa2RKVGxoSmJtZHlaWE56UTI5dWRISnZiR3hsY2pDQ0FTSXdEUVlKCktvWklodmNOQVFFQkJRQURnZ0VQQURDQ0FRb0NnZ0VCQUwvN2hIUEtFWGRMdjNyaUM3QlBrMTNpWkt5eTlyQ08KR2xZUXYyK2EzUDF0azIrS3YwVGF5aGRCbDRrcnNUcTZzZm8vWUk1Y2Vhbkw4WGM3U1pyQkVRYm9EN2REbWs1Qgo4eDZLS2xHWU5IWlg0Rm5UZ0VPaStlM2ptTFFxRlBSY1kzVnNPazFFeUZBL0JnWlJVbkNHZUtGeERSN0tQdGhyCmtqSXVuektURXUyaDU4Tlp0S21ScUJHdDEwcTNRYzhZT3ExM2FnbmovUWRjc0ZYYTJnMjB1K1lYZDdoZ3krZksKWk4vVUkxQUQ0YzZyM1lma1ZWUmVHd1lxQVp1WXN2V0RKbW1GNWRwdEMzN011cDBPRUxVTExSakZJOTZXNXIwSAo1TmdPc25NWFJNV1hYVlpiNWRxT3R0SmRtS3FhZ25TZ1JQQVpQN2MwQjFQU2FqYzZjNGZRVXpNQ0F3RUFBVEFOCkJna3Foa2lHOXcwQkFRc0ZBQU9DQVFFQWpLb2tRdGRPcEsrTzhibWVPc3lySmdJSXJycVFVY2ZOUitjb0hZVUoKdGhrYnhITFMzR3VBTWI5dm15VExPY2xxeC9aYzJPblEwMEJCLzlTb0swcitFZ1U2UlVrRWtWcitTTFA3NTdUWgozZWI4dmdPdEduMS9ienM3bzNBaS9kclkrcUI5Q2k1S3lPc3FHTG1US2xFaUtOYkcyR1ZyTWxjS0ZYQU80YTY3Cklnc1hzYktNbTQwV1U3cG9mcGltU1ZmaXFSdkV5YmN3N0NYODF6cFErUyt1eHRYK2VBZ3V0NHh3VlI5d2IyVXYKelhuZk9HbWhWNThDd1dIQnNKa0kxNXhaa2VUWXdSN0diaEFMSkZUUkk3dkhvQXprTWIzbjAxQjQyWjNrN3RXNQpJUDFmTlpIOFUvOWxiUHNoT21FRFZkdjF5ZytVRVJxbStGSis2R0oxeFJGcGZnPT0KLS0tLS1FTkQgQ0VSVElGSUNBVEUtLS0tLQo=  tls.key: LS0tLS1CRUdJTiBSU0EgUFJJVkFURSBLRVktLS0tLQpNSUlFcEFJQkFBS0NBUUVBdi91RWM4b1JkMHUvZXVJTHNFK1RYZUprckxMMnNJNGFWaEMvYjVyYy9XMlRiNHEvClJOcktGMEdYaVN
1eE9ycXgrajlnamx4NXFjdnhkenRKbXNFUkJ1Z1B0ME9hVGtIekhvb3FVWmcwZGxmZ1dkT0EKUTZMNTdlT1l0Q29VOUZ4amRXdzZUVVRJVUQ4R0JsRlNjSVo0b1hFTkhzbysyR3VTTWk2Zk1wTVM3YUhudzFtMApxWkdvRWEzWFNyZEJ6eGc2clhkcUNlUDlCMXl3VmRyYURiUzc1aGQzdUdETDU4cGszOVFqVUFQaHpxdmRoK1JWClZGNGJCaW9CbTVpeTlZTW1hWVhsMm0wTGZzeTZuUTRRdFFzdEdNVWozcGJtdlFmazJBNnljeGRFeFpkZFZsdmwKMm82MjBsMllxcHFDZEtCRThCay90elFIVTlKcU56cHpoOUJUTXdJREFRQUJBb0lCQVFDZklHbXowOHhRVmorNwpLZnZJUXQwQ0YzR2MxNld6eDhVNml4MHg4Mm15d1kxUUNlL3BzWE9LZlRxT1h1SENyUlp5TnUvZ2IvUUQ4bUFOCmxOMjRZTWl0TWRJODg5TEZoTkp3QU5OODJDeTczckM5bzVvUDlkazAvYzRIbjAzSkVYNzZ5QjgzQm9rR1FvYksKMjhMNk0rdHUzUmFqNjd6Vmc2d2szaEhrU0pXSzBwV1YrSjdrUkRWYmhDYUZhNk5nMUZNRWxhTlozVDhhUUtyQgpDUDNDeEFTdjYxWTk5TEI4KzNXWVFIK3NYaTVGM01pYVNBZ1BkQUk3WEh1dXFET1lvMU5PL0JoSGt1aVg2QnRtCnorNTZud2pZMy8yUytSRmNBc3JMTnIwMDJZZi9oY0IraVlDNzVWYmcydVd6WTY3TWdOTGQ5VW9RU3BDRkYrVm4KM0cyUnhybnhBb0dCQU40U3M0ZVlPU2huMVpQQjdhTUZsY0k2RHR2S2ErTGZTTXFyY2pOZjJlSEpZNnhubmxKdgpGenpGL2RiVWVTbWxSekR0WkdlcXZXaHFISy9iTjIyeWJhOU1WMDlRQ0JFTk5jNmtWajJTVHpUWkJVbEx4QzYrCk93Z0wyZHhKendWelU0VC84ajdHalRUN05BZVpFS2FvRHFyRG5BYWkyaW5oZU1JVWZHRXFGKzJyQW9HQkFOMVAKK0tZL0lsS3RWRzRKSklQNzBjUis3RmpyeXJpY05iWCtQVzUvOXFHaWxnY2grZ3l4b25BWlBpd2NpeDN3QVpGdwpaZC96ZFB2aTBkWEppc1BSZjRMazg5b2pCUmpiRmRmc2l5UmJYbyt3TFU4NUhRU2NGMnN5aUFPaTVBRHdVU0FkCm45YWFweUNweEFkREtERHdObit3ZFhtaTZ0OHRpSFRkK3RoVDhkaVpBb0dCQUt6Wis1bG9OOTBtYlF4VVh5YUwKMjFSUm9tMGJjcndsTmVCaWNFSmlzaEhYa2xpSVVxZ3hSZklNM2hhUVRUcklKZENFaHFsV01aV0xPb2I2NTNyZgo3aFlMSXM1ZUtka3o0aFRVdnpldm9TMHVXcm9CV2xOVHlGanIrSWhKZnZUc0hpOGdsU3FkbXgySkJhZUFVWUNXCndNdlQ4NmNLclNyNkQrZG8wS05FZzFsL0FvR0FlMkFVdHVFbFNqLzBmRzgrV3hHc1RFV1JqclRNUzRSUjhRWXQKeXdjdFA4aDZxTGxKUTRCWGxQU05rMXZLTmtOUkxIb2pZT2pCQTViYjhibXNVU1BlV09NNENoaFJ4QnlHbmR2eAphYkJDRkFwY0IvbEg4d1R0alVZYlN5T294ZGt5OEp0ek90ajJhS0FiZHd6NlArWDZDODhjZmxYVFo5MWpYL3RMCjF3TmRKS2tDZ1lCbyt0UzB5TzJ2SWFmK2UwSkN5TGhzVDQ5cTN3Zis2QWVqWGx2WDJ1VnRYejN5QTZnbXo5aCsKcDNlK2JMRUxwb3B0WFhNdUFRR0xhUkcrYlNNcjR5dERYbE5ZSndUeThXczNKY3dlSTdqZVp2b0ZpbmNvVlVIMwphdmxoTUVCRGYxSjltSDB5cDBwWUNaS2ROdHNvZEZtQktzVEtQMjJhTmtsVVhCS3gyZzR6cFE9PQotLS0tLUVORCBSU0EgUFJJVkFURSBLRVktLS0tLQo=

crt和key内容对应的是nginxingress的信息，需替换为实际使用的域名信息，内容是base64格式，需对证书文件进行编码：

cat domain.crt | base64 > domain.crt.base64
cat domain.key | base64 > domain.key.base64

将编码后的内容替换至文件内对应的内容。

3、创建ConfigMap自定义配置文件，kubectl apply -f common/nginx-config.yaml 内容与源文件一致，不做展示。

4、为虚拟云主机和虚拟云主机路由定义自定义资源，支持自定义虚拟主机和虚拟路由，kubectl apply -f common/custom-resource-definitions.yaml 内容与源文件一致，不做展示。

5、配置RBAC认证授权，实现ingress控制器访问集群中的其他资源，kubectl apply -f rbac/rbac.yaml 内容与源文件一致，不做展示。

部署Ingress控制器

1、部署控制器，控制器可以DaemonSets和Deployment的形式部署，以Deployment的配置文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-ingress
  namespace: nginx-ingress
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx-ingress
  template:
    metadata:
      labels:
        app: nginx-ingress
     #annotations:
       #prometheus.io/scrape: "true"
       #prometheus.io/port: "9113"
    spec:
      serviceAccountName: nginx-ingress
      containers:
      - image: nginx/nginx-ingress:edge
        imagePullPolicy: Always
        name: nginx-ingress
        ports:
        - name: http
          containerPort: 80
        - name: https
          containerPort: 443
       #- name: prometheus
         #containerPort: 9113
        securityContext:
          allowPrivilegeEscalation: true
          runAsUser: 101 #nginx
          capabilities:
            drop:
            - ALL
            add:
            - NET_BIND_SERVICE
        env:
        - name: POD_NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: POD_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        args:
          - -nginx-configmaps=$(POD_NAMESPACE)/nginx-config
          - -default-server-tls-secret=$(POD_NAMESPACE)/default-server-secret
         #- -v=3 # Enables extensive logging. Useful for troubleshooting.
         #- -report-ingress-status
         #- -external-service=nginx-ingress
         #- -enable-leader-election
         #- -enable-prometheus-metrics

以Deployment的方式部署，对应service以LoadBalancer方式部署，如果有外部LoadBalancer则通过外部负载均衡路由至Ingress中

[root@VM_16_11_centos deployment]# kubectl apply -f nginx-ingress.yaml 
deployment.apps/nginx-ingress created
[root@VM_16_11_centos service]# kubectl get pod -n nginx-ingress -o wide
NAME                             READY   STATUS    RESTARTS   AGE   IP            NODE           NOMINATED NODE
nginx-ingress-66b9d5b9c6-kr267   1/1     Running   0          44s   172.16.0.6    172.17.16.8    <none>
nginx-ingress-66b9d5b9c6-zgkgs   1/1     Running   0          44s   172.16.0.69   172.17.16.11   <none>
[root@VM_16_11_centos service]# kubectl apply -f loadbalancer.yaml 
service/nginx-ingress created
[root@VM_16_11_centos service]# kubectl get svc -n nginx-ingress -o wide
NAME            TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)                      AGE   SELECTOR
nginx-ingress   NodePort   172.16.252.45   <none>        80:31716/TCP,443:31117/TCP   26s   app=nginx-ingress

验证测试：

[root@VM_16_11_centos service]# curl 172.16.252.45
<html>
<head><title>404 Not Found</title></head>
<body>
<center><h1>404 Not Found</h1></center>
<hr><center>nginx/1.17.7</center>
</body>
</html>
[root@VM_16_11_centos service]# curl 172.17.16.8:31716
<html>
<head><title>404 Not Found</title></head>
<body>
<center><h1>404 Not Found</h1></center>
<hr><center>nginx/1.17.7</center>
</body>
</html>
[root@VM_16_11_centos service]# curl 172.17.16.11:31716
<html>
<head><title>404 Not Found</title></head>
<body>
<center><h1>404 Not Found</h1></center>
<hr><center>nginx/1.17.7</center>
</body>
</html>

域名验证：