Istio采集指标prometheus+grafana方案

TOC

Istio采集指标prometheus+grafana方案

Istio的prometheus支持

prometheus在Istio中的现状

prometheus这个后端组件涉及到数据存储问题（levleDB，代码里面添加SDK，直接存储在本地磁盘），而且我们有自己的prometheus集群，因此不太建议直接使用官方自带的镜像，而是采用自己的prometheus集群。

先看看原理，mixer组件中遥测相关的对外提供的Kubernetes的Service的服务名是istio-telemetry，mixer对外开放的exporter的数据查询接口是/metrics；istio-telemetry开放了42422端口，用来采集istio-mesh指标，开放了9093端口，用来采集mixer本身的指标。查看istio-telemetry这个Service，可以看到如下配置：

  - name: http-monitoring
    port: 9093
  - name: prometheus
    port: 42422

另外就是还有一个envoy的指标，是通过statsd 转换为 prometheus 的，关于statsd exporter的更多信息查看这里，大体流程如下：

+----------+                         +-------------------+                        +--------------+
|  StatsD  |---(UDP/TCP repeater)--->|  statsd_exporter  |<---(scrape /metrics)---|  Prometheus  |
+----------+                         +-------------------+                        +--------------+

在Istio中，这个对外提供的服务名是Istio-statsd-prom-bridge，通过9102端口对外提供服务，通过kubectl get svc -n istio-system istio-statsd-prom-bridge可以查看到详细信息：

apiVersion: v1
kind: Service
metadata:
  name: Istio-statsd-prom-bridge
  namespace: Istio-system
  labels:
    chart: mixer-1.0.0
    release: RELEASE-NAME
    Istio: statsd-prom-bridge
spec:
  ports:
  - name: statsd-prom
    port: 9102
  - name: statsd-udp
    port: 9125
    protocol: UDP
  selector:
    Istio: statsd-prom-bridge

这里，如果修改istio-statsd-prom-bridge这个服务的Service type类型，则可能导致ingressgateway失败，因为istio-statsd-prom-bridge的IP失效异常了。查看ingressgateway的日志可以发现：

 error initializing configuration '/etc/istio/proxy/envoy-rev0.json': malformed IP address: istio-statsd-prom-bridge

这个时候，可以通过删除ingressgateway这个pod，重启即可生效

Istio默认的metric监控指标

默认监控指标指的是使用初始配置时，Istio 收集的监控指标（metrics）的详细信息，可以通过更改配置来添加和删除指标，具体配置指标可以查看config.yaml配置文件中的kind: metric，这些指标都是通过metric 模板来定义的。

接入外部prometheus集群的方案

prometheus需要采用自己的服务，因此需要禁用，然后配置好相应的，注意服务要打通，可以采用NodePort方式，也可以采用ClusterIP（prometheus的Server端要打通网络），最优的姿势当然就是服务发现。需要将自己的prometheus集群里面的配置（scrape_config）的数据采集配置上mixer的地址和采集的端口（共三个端口），然后接口API是/metrics，这样自己的集群就能够采集到mixer的数据了：

• istio-mesh (istio-mixer.istio-system:42422): 所有 Mixer 生成的网格指标
  • 如果不要Mixer组件，则可以不进行监控，也没有这样的数据
  • 这个是istio-telemetry组件提供的功能
• mixer (istio-mixer.istio-system:9093): 所有特定于 Mixer 的指标, 用于监控 Mixer 本身
  • 这个是istio-policy 组件提供的功能
• envoy (istio-mixer.istio-system:9102): envoy 生成的原始统计数据（并从 statsd 转换为 prometheus ）
  • 这个是istio-statsd-prom-bridge组件提供的服务

pre环境验证中可以将istio-telemetry和istio-statsd-prom-bridge的Service的Type的类型改为NodePort，然后通过端口映射查看；需要注意的是如果修改istio-statsd-prom-bridge的Service的Type的类型改为NodePort，则会导致ingressgateway失败，需要删除ingressgateway的pod进行重启生效。

然后可以通过各自的 /metrics 接口查看数据

如何处理prometheus服务发现

上述的方案都是通过NodePort的方式，这样的话，需要手动配置要采集的目标地址（ip:port/URI），但是线上应用应该要采用prometheus的服务发现功能，自动发现节点并采集，后面这个需要和运维同学沟通，如何实现自动发现服务

prometheus的服务发现类别可以参考

新增Istio的prometheus采集指标

新增Istio组件的采集指标，需要做相关配置，可以详见收集指标和日志

现有Istio默认的监控指标有这些

接入外部的grafana系统

Istio默认有grafana服务，并且已经有相关面板配置ok，只需要查看，但是因为我们公司自己已有一套成熟的prometheus+grafana方案，运维配套、权限管理、组织管理等比较成熟，并且运维还需要兼顾容器内的服务和容器外的服务，因此Istio中，更适合采用外部已有的grafana服务。

只是我们需要将现有Istio提供的这些面板都通过模板方式转移到运维的grafana中

实战部署外部自有系统

1. Mac安装部署prometheus + grafana

两个服务都采用二进制安装部署

• 启动prometheus：./prometheus；访问prometheus
• 启动grafana：/grafana-server ; 访问grafana
  • 【默认密码：admin:admin】
  • 【new密码：admin:123456】
  • 添加数据源，添加prometheus的数据源

2. 配置prometheus的scrape_configs

配置prometheus的scrape_configs，新增Istio相关的采集

  - job_name: 'Istio'
    metrics_path: '/metrics'
    static_configs:
      - targets: ['172.31.2.2:32398']
        labels:
          group: 'Istio-mesh'
      - targets: ['172.31.2.2:32697']
        labels:
          group: 'mixer'
      - targets: ['172.31.2.2:32744']
        labels:
          group: 'envoy'

然后重启prometheus，通过http://172.31.36.68:9090/config查看

然后查看采集指标，搜索isito，发现有了数据

3. 配置grafana的DataSource

先add data source，设置默认的数据源，在setting中的type中选择prometheus，url选择地址http://172.31.2.2:9090，然后save and test

3. 配置grafana

在原有grafana系统中，Share dashboard，然后Export到文件，然后再在新的grafana中import Json file，然后选定prometheus即可。这样默认得到是DashBoard是无法编辑的，如下两个方式可以调整为可编辑状态：

• 导出的Json File，需要修改editable为true，否则不能修改只能查看
• 或者新版可以通过admin账号来Make dashboard editable
  • Setting -> General -> Make Editable