grafana&prometheus生产级容器化监控-3：监控mysql
grafana&prometheus生产级容器化监控-3：监控mysql
目录
(1).前置阅读
(2).前置准备
(3).容器化生产规划
(4).使用mysqld-exporter监控mysql实例
1.镜像选择
2.容器化配置
(5).容器化步骤
(6).关键配置
1.prometheus-storage-mysql-configmap.yaml
2.datasource.yml
3.provision.yml
4.exporter-deployment-storage-mysql-apollo.yaml
(7).特别注
(8).最终效果
(9).相关文章
(1).前置阅读
需要先行部署grafana/prometheus，以及合理拓扑，参见：
grafana&prometheus生产级容器化监控-1：生产级容器化
(2).前置准备
容器化mysql数据库实例，可以使用：
https://github.com/hepyu/k8s-app-config/tree/master/yaml/min-cluster-allinone/mysql-min
参考文章：
kubernetes-5：使用helm与yaml两种方式进行mysql容器化
创建exporter专用用户：
CREATE USER 'exporter'@'%' IDENTIFIED BY 'exporterpwd';
GRANT PROCESS, REPLICATION CLIENT ON *.* TO 'exporter'@'%';
GRANT SELECT ON performance_schema.* TO 'exporter'@'%';
在本例中，图简略，使用的是之前已经存在的用户密码：apollo/admin，但生产环境必须使用新的mysql用户，这样更加安全可靠，也方便监控。
(3).容器化生产规划
原始图片位于：
https://github.com/hepyu/k8s-app-config/blob/master/product/standard/grafana-prometheus-pro/images/grafana-prometheus%E7%94%9F%E4%BA%A7%E7%BA%A7%E5%AE%9E%E8%B7%B5.jpg
如上图所示：
容器化多个prometheus实例
由于当数据量很大(metrics很多)或者grafana选择的时间跨度很大时，prometheus的吞吐性能会很有问题，再加上会有很多人通过grafana查看各业务数据，如果生产环境只部署一个prometheus，肯定是有问题的，prometheus会经常性崩溃。
同时，这样也可以设置不同的数据保存时间，比如对于mq来说，我希望保留更长时间的数据。
(4).使用mysqld-exporter监控mysql实例
1.镜像选择
使用percona公司的mysqld-exporter组件监控Mysql数据库实例：
https://github.com/prometheus/mysqld_exporter
注：
percona出了很多关于mysql的产品，比如binlog分析等工具。
笔者提供mysqld-exporter的容器化配置，位于：
https://github.com/hepyu/k8s-app-config/tree/master/product/standard/grafana-prometheus-pro/exporter-storage-mysql
2.容器化配置
建立新的prometheus实例，专门用于存放mysql实例的metrics，同时dashboards导入方式选择provisioning方式（也可以选择grafana的plugin的方式导入percona-mysql的dashboard，但是这种方式无法自定义目录）。
笔者提供生产级容器化配置，位于：
https://github.com/hepyu/k8s-app-config/tree/master/product/standard/grafana-prometheus-pro
prometheus-storage-mysql容器化配置：
https://github.com/hepyu/k8s-app-config/tree/master/product/standard/grafana-prometheus-pro/prometheus-storage-mysql
dashboard位置，从percona的grafana-dashboard中拷贝出mysql相关的dashboards：
https://github.com/hepyu/k8s-app-config/tree/master/product/standard/grafana-prometheus-pro/grafana/provisioning/dashboards/storage-mysql
(5).容器化步骤
大体步骤，注意本例配置默认使用local pv(生产环境需要换成云存储)，需要使用者自行创建。
1.cd https://github.com/hepyu/k8s-app-config/tree/master/product/standard/grafana-prometheus-pro
#Kubectl apply -f grafana-prometheus-image-repo-secret.yaml (生产环境使用)
Kubectl apply -f grafana-prometheus-namespace.yaml
2.cd grafana-prometheus-pro/prometheus-storage-mysql
Kubectl apply -f .
3.cd grafana-prometheus-pro/grafana
Kubectl apply -f .
(6).关键配置
1.prometheus-storage-mysql-configmap.yaml
相对路径：prometheus-storage-mysql/prometheus-storage-mysql-configmap.yaml
配置服务发现，从k8s的那些pod拉取metrics：
label_exporter=mysql, namespace=monitor的pod
relabel_configs:
- source_labels: [__meta_kubernetes_pod_label_exporter, __meta_kubernetes_namespace]
action: keep
regex: mysql;monitor2.datasource.yml
相对路径：grafana/provisioning/datasources
将数据库prometheus-storage-mysql放到grafana的数据库列表中：
- name: prometheus-storage-mysql
type: prometheus
access: proxy
orgId: 1
url: http://prometheus-storage-mysql:9090
isDefault: false
jsonData:
tlsAuth: false
tlsAuthWithCACert: false3.provision.yml
相对路径：grafana/provisioning/dashboards
将mysql-dashboards放到grafana的dashboards列表中：
- name: 'storage-mysql'
orgId: 1
folder: 'storage-mysql'
folderUid: ''
type: file
options:
path: /var/lib/grafana/k8s-app-config/product/standard/grafana-prometheus-pro/grafana/provisioning/dashboards/storage-mysql 4.exporter-deployment-storage-mysql-apollo.yaml
相对路径：exporter-storage-mysql/exporter-deployment-storage-mysql-apollo.yaml
配置要监控的目标mysql实例：
containers:
- name: exporter-mysql-apollo
#生产环境换成自己的镜像仓库
image: prom/mysqld-exporter:v0.11.0
env:
- name: DATA_SOURCE_NAME
value: "apollo:admin@(mysql-min.mysql-min:3306)/"(7).特别注意
需要注意，如果使用的是云RDS，关于mysql宿主机的监控dashboard是没有数据的，如果是独立部署的mysql，mysqld_exporter一定要和mysql实例在一台机器，这样才能收集到mysql宿主机的信息，比如磁盘，io等。
(8).最终效果
(9).相关文章
percona官方grafana-dashboards：
https://github.com/percona/grafana-dashboards