专栏首页田飞雨的专栏部署 kubernetes 可视化监控组件

部署 kubernetes 可视化监控组件

随着 kubernetes 的大规模使用,对 kubernetes 组件及其上运行服务的监控也是非常重要的一个环节,目前开源的监控组件有很多种,例如 cAdvisor、Heapster、metrics-server、kube-state-metrics、Prometheus 等,对监控数据的可视化查看组件有 Dashboard、 Prometheus、Grafana 等,本文会介绍 kube-dashboard 和基于 prometheus 搭建数据可视化监控。

kubernetes 版本:v1.12

一、kubernetes-dashboard 的部署

1、创建 kubernetes-dashboard

$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml

$ kubectl get svc -n kube-system | grep kubernetes-dashboard
kubernetes-dashboard   ClusterIP    10.101.203.44   <none>        443/TCP    2h

$ kubectl get pod -n kube-system | grep kubernetes-dashboard
kubernetes-dashboard-65c76f6c97-8npsv    1/1     Running       0          2h

所需镜像下载地址:k8s-system-images

2、使用 nodePort 方式访问 kubernetes-dashboard

nodeport 的访问方式虽然有性能损失但是比较简单,kubernetes-dashboard 默认使用 clusterIP 的方式暴露服务,修改 kubernetes-dashboard svc 使用 nodePort 方式:

$ kubectl edit svc -n kube-system
	...
  spec:
    clusterIP: 10.101.203.44
    externalTrafficPolicy: Cluster
    ports:
    - nodePort: 8004  // 添加 nodeport 端口
      port: 443
      protocol: TCP
      targetPort: 8443
    selector:
      k8s-app: kubernetes-dashboard
    sessionAffinity: None
    type: NodePort   // 将 ClusterIP 修改为 NodePort
    ...

nodePort 端口默认为 30000-32767,若使用其他端口,需要修改 apiserver 的启动参数 --service-node-port-range 来指定 nodePort 范围,如:--service-node-port-range 8000-9000

3、创建 kubernetes-dashboard 管理员角色

kubernetes-dashboard-admin.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: dashboard-admin
  namespace: kube-system
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: dashboard-admin
subjects:
  - kind: ServiceAccount
    name: dashboard-admin
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io

创建角色并获取 token:

$ kubectl apply -f kubernetes-dashboard-admin.yaml

$ kubectl describe secrets `kubectl get secret -n kube-system | grep dashboard-admin | awk '{print $1}'` -n kube-system

Name:         dashboard-admin-token-hrhfd
Namespace:    kube-system
Labels:       <none>
Annotations:  kubernetes.io/service-account.name: dashboard-admin
              kubernetes.io/service-account.uid: 76805bdb-6047-11e9-ba0d-525400c322d9

Type:  kubernetes.io/service-account-token

Data
====
ca.crt:     1025 bytes
namespace:  11 bytes
token:      eyJhbGciOiJSUzI1NiIsImtpZCI6IiJ9.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJkYXNoYm9hcmQtYWRtaW4tdG9rZW4taHJoZmQiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC5uYW1lIjoiZGFzaGJvYXJkLWFkbWluIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQudWlkIjoiNzY4MDViZGItNjA0Ny0xMWU5LWJhMGQtNTI1NDAwYzMyMmQ5Iiwic3ViIjoic3lzdGVtOnNlcnZpY2VhY2NvdW50Omt1YmUtc3lzdGVtOmRhc2hib2FyZC1hZG1pbiJ9.hJJRyp_O4sGvIULj3BhqidCkkPnD4A2AtnpkXJoEPCALaaQHC8zhCA5-nDNlo2fiEggZ02UZPwiyGxKKFPC57UlKhjTf5zYcMIhELVXlj5FdBmjzCZcCHVFF4tj_rCoOFlZi6fQ3vNCcX8CtLxX_OsH1YXaFVuUmR1gYm97hbyuO382_k3tFIPXFP3QG8zUtc_7QMkeMNEakJZLCvkW8xdlaCuC-GVAMhZl5Kq1MSthuF-8HY7KaXhvqQzfD4DQZrdQ7vf_7NG3rdvhsj8nQ__TTe1W0RjqwkQuxg5YdE4gbAsxwJjkek-N0K9HfnZhkS9WosaUaUe9pZaGZ9akqyQ

token 是访问 dashboard 需要用的。

若没有安装 kube-proxy,可以参考官方提供使用 kubectl proxy 的方式访问:

$ kubectl proxy --address=IP --disable-filter=true

访问 http://IP:8001/api/v1/namespaces/kube-system/services/https:kubernetes-dashboard:/proxy/#!/login

已部署 kube-proxy 的可直接访问 https://IP:nodePort

选择令牌方式使用上面生成的 token 登录。

Dashboard 可以使用 Ingress、Let’s Encrypt 等多种方式配置 ssl,关于 ssl 的详细配置此处不进行详解。

二、部署 prometheus

prometheus 作为 CNCF 生态圈中的重要一员,其活跃度仅次于 Kubernetes, 现已广泛用于 Kubernetes 集群的监控系统中。prometheus 的部署相对比较简单,社区已经有了 kube-prometheus,kube-prometheus 会部署包含 prometheus-operator、grafana、kube-state-metrics 等多个组件。

$ git clone https://github.com/coreos/kube-prometheus

$ kubectl apply -f manifests/

为了使用简单,我也会将 prometheus 和 grafana 的端口修改为 nodePort 的方式进行暴露:

$ kubectl edit svc prometheus-k8s -n monitoring

$ kubectl edit svc grafana -n monitoring

$ kubectl get svc -n monitoring
NAME                    TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)             AGE
alertmanager-main       NodePort    10.102.81.118   <none>        9093:8007/TCP       5d1h
alertmanager-operated   ClusterIP   None            <none>        9093/TCP,6783/TCP   5d1h
grafana                 NodePort    10.96.19.82     <none>        3000:8006/TCP       5d1h
kube-state-metrics      ClusterIP   None            <none>        8443/TCP,9443/TCP   5d1h
node-exporter           ClusterIP   None            <none>        9100/TCP            5d1h
prometheus-adapter      ClusterIP   10.107.103.58   <none>        443/TCP             5d1h
prometheus-k8s          NodePort    10.110.222.41   <none>        9090:8005/TCP       5d1h
prometheus-operated     ClusterIP   None            <none>        9090/TCP            5d1h
prometheus-operator     ClusterIP   None            <none>        8080/TCP            5d1h

$ kubectl get pod -n monitoring
NAME                                   READY   STATUS    RESTARTS   AGE
alertmanager-main-0                    2/2     Running   0          4d
alertmanager-main-1                    2/2     Running   0          4d
alertmanager-main-2                    2/2     Running   0          4d
grafana-9d97dfdc7-qfjts                1/1     Running   0          4d
kube-state-metrics-74d7dcd7dc-qfz5m    4/4     Running   0          3d11h
node-exporter-5cdl2                    2/2     Running   0          4d
prometheus-adapter-b7d894c9c-dvzzq     1/1     Running   0          4d
prometheus-k8s-0                       3/3     Running   1          2d2h
prometheus-k8s-1                       3/3     Running   1          4d
prometheus-operator-77b8b97459-7qfxj   1/1     Running   0          4d

上面几个组件成功运行后就可以在页面访问 prometheus 和 ganfana :

进入 grafana 的 web 端,默认用户名和密码均为 admin:

grafana 支持导入其他的 Dashboard,在 grafana 官方网站可以搜到大量与 k8s 相关的 dashboard。

三、总结

本文介绍了对 kubernetes 和容器监控比较成熟的两个方案,虽然目前开源的方案比较多,但是要形成采集、存储、展示、报警一个完成的体系还需要在使用过程中不断探索与完善。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 使用 code-generator 为 CustomResources 生成代码

    笔者最初接触 kubernetes 时使用的是 v1.4 版本,集群间的通信仅使用 8080 端口,认证与鉴权机制还未得到完善,到后来开始使用 static t...

    田飞雨
  • 浅析 kubernetes 的认证与鉴权机制

    笔者最初接触 kubernetes 时使用的是 v1.4 版本,集群间的通信仅使用 8080 端口,认证与鉴权机制还未得到完善,到后来开始使用 static t...

    田飞雨
  • 浅析 kubernetes 的认证与鉴权机制

    笔者最初接触 kubernetes 时使用的是 v1.4 版本,集群间的通信仅使用 8080 端口,认证与鉴权机制还未得到完善,到后来开始使用 static t...

    田飞雨
  • SQL Server 动态行转列(参数化表名、分组列、行转列字段、字段值)

    用户1112962
  • MyBatis系列第1篇:MyBatis未出世之前我们那些痛苦的经历

    MyBatis系列目标:从入门开始开始掌握一个高级开发所需要的MyBatis技能。

    路人甲Java
  • JDBC的基本使用流程

    JDBC的基本使用流程: 1 导入jar包: 导入ojdbc6.jar,在项目上右键 builder path–>add to builder path. ...

    葆宁
  • Elasticsearch-sql 用SQL查询Elasticsearch

    Elasticsearch的查询语言(DSL)真是不好写,偏偏查询的功能千奇百怪,filter/query/match/agg/geo各种各样,不管你是通过封装...

    用户1225216
  • MySQL审计

    线上的数据库,开发可以直接navicat软件直接操作。一旦发生数据泄露,后果严重。需要禁止使用navicat,使用命令行操作,并且能记录每个开发执行的SQL语句...

    用户2398817
  • dba麻烦终结者之路

    或许你厌倦了朝五晚六的开发工作,开始考ocp;或许你刚走出象牙塔,立志在数据库管理方面大干一场?经过一翻努力,终于有了份dba的工作,忐忑不安地坐在电脑旁,激动...

    Tony老师
  • sql格式化工具

    该工具支持oracle、mysql、sql server等关系型数据库,能让你看到sql美化后的清晰的结构,可运用于对复杂SQL语句的分析或者是程序代码优化上,...

    ixiaoyang8

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动