前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Istio采集指标prometheus+grafana方案

Istio采集指标prometheus+grafana方案

原创
作者头像
Allen.Wu
修改2020-01-17 09:46:18
2.1K0
修改2020-01-17 09:46:18
举报
文章被收录于专栏:后端系统和架构

TOC

Istio采集指标prometheus+grafana方案

Istio的prometheus支持

prometheus在Istio中的现状

prometheus这个后端组件涉及到数据存储问题(levleDB,代码里面添加SDK,直接存储在本地磁盘),而且我们有自己的prometheus集群,因此不太建议直接使用官方自带的镜像,而是采用自己的prometheus集群。

先看看原理,mixer组件中遥测相关的对外提供的Kubernetes的Service的服务名是istio-telemetry,mixer对外开放的exporter的数据查询接口是/metrics;istio-telemetry开放了42422端口,用来采集istio-mesh指标,开放了9093端口,用来采集mixer本身的指标。查看istio-telemetry这个Service,可以看到如下配置:

代码语言:txt
复制
  - name: http-monitoring
    port: 9093
  - name: prometheus
    port: 42422

另外就是还有一个envoy的指标,是通过statsd 转换为 prometheus 的,关于statsd exporter的更多信息查看这里,大体流程如下:

代码语言:txt
复制
+----------+                         +-------------------+                        +--------------+
|  StatsD  |---(UDP/TCP repeater)--->|  statsd_exporter  |<---(scrape /metrics)---|  Prometheus  |
+----------+                         +-------------------+                        +--------------+

在Istio中,这个对外提供的服务名是Istio-statsd-prom-bridge,通过9102端口对外提供服务,通过kubectl get svc -n istio-system istio-statsd-prom-bridge可以查看到详细信息:

代码语言:txt
复制
apiVersion: v1
kind: Service
metadata:
  name: Istio-statsd-prom-bridge
  namespace: Istio-system
  labels:
    chart: mixer-1.0.0
    release: RELEASE-NAME
    Istio: statsd-prom-bridge
spec:
  ports:
  - name: statsd-prom
    port: 9102
  - name: statsd-udp
    port: 9125
    protocol: UDP
  selector:
    Istio: statsd-prom-bridge

这里,如果修改istio-statsd-prom-bridge这个服务的Service type类型,则可能导致ingressgateway失败,因为istio-statsd-prom-bridge的IP失效异常了。查看ingressgateway的日志可以发现:

代码语言:txt
复制
 error initializing configuration '/etc/istio/proxy/envoy-rev0.json': malformed IP address: istio-statsd-prom-bridge

这个时候,可以通过删除ingressgateway这个pod,重启即可生效

Istio默认的metric监控指标

默认监控指标指的是使用初始配置时,Istio 收集的监控指标(metrics)的详细信息,可以通过更改配置来添加和删除指标,具体配置指标可以查看config.yaml配置文件中的kind: metric,这些指标都是通过metric 模板来定义的。

接入外部prometheus集群的方案

prometheus需要采用自己的服务,因此需要禁用,然后配置好相应的,注意服务要打通,可以采用NodePort方式,也可以采用ClusterIP(prometheus的Server端要打通网络),最优的姿势当然就是服务发现。需要将自己的prometheus集群里面的配置(scrape_config)的数据采集配置上mixer的地址和采集的端口(共三个端口),然后接口API是/metrics,这样自己的集群就能够采集到mixer的数据了:

  • istio-mesh (istio-mixer.istio-system:42422): 所有 Mixer 生成的网格指标
    • 如果不要Mixer组件,则可以不进行监控,也没有这样的数据
    • 这个是istio-telemetry组件提供的功能
  • mixer (istio-mixer.istio-system:9093): 所有特定于 Mixer 的指标, 用于监控 Mixer 本身
    • 这个是istio-policy 组件提供的功能
  • envoy (istio-mixer.istio-system:9102): envoy 生成的原始统计数据(并从 statsd 转换为 prometheus )
    • 这个是istio-statsd-prom-bridge组件提供的服务

pre环境验证中可以将istio-telemetry和istio-statsd-prom-bridge的Service的Type的类型改为NodePort,然后通过端口映射查看;需要注意的是如果修改istio-statsd-prom-bridge的Service的Type的类型改为NodePort,则会导致ingressgateway失败,需要删除ingressgateway的pod进行重启生效。

然后可以通过各自的 /metrics 接口查看数据

如何处理prometheus服务发现

上述的方案都是通过NodePort的方式,这样的话,需要手动配置要采集的目标地址(ip:port/URI),但是线上应用应该要采用prometheus的服务发现功能,自动发现节点并采集,后面这个需要和运维同学沟通,如何实现自动发现服务

prometheus的服务发现类别可以参考

新增Istio的prometheus采集指标

新增Istio组件的采集指标,需要做相关配置,可以详见收集指标和日志

现有Istio默认的监控指标有这些

接入外部的grafana系统

Istio默认有grafana服务,并且已经有相关面板配置ok,只需要查看,但是因为我们公司自己已有一套成熟的prometheus+grafana方案,运维配套、权限管理、组织管理等比较成熟,并且运维还需要兼顾容器内的服务和容器外的服务,因此Istio中,更适合采用外部已有的grafana服务。

只是我们需要将现有Istio提供的这些面板都通过模板方式转移到运维的grafana中

实战部署外部自有系统

1. Mac安装部署prometheus + grafana

两个服务都采用二进制安装部署

  • 启动prometheus:./prometheus;访问prometheus
  • 启动grafana:/grafana-server ; 访问grafana
    • 【默认密码:admin:admin】
    • 【new密码:admin:123456】
    • 添加数据源,添加prometheus的数据源

2. 配置prometheus的scrape_configs

配置prometheus的scrape_configs,新增Istio相关的采集

代码语言:txt
复制
  - job_name: 'Istio'
    metrics_path: '/metrics'
    static_configs:
      - targets: ['172.31.2.2:32398']
        labels:
          group: 'Istio-mesh'
      - targets: ['172.31.2.2:32697']
        labels:
          group: 'mixer'
      - targets: ['172.31.2.2:32744']
        labels:
          group: 'envoy'

然后重启prometheus,通过http://172.31.36.68:9090/config查看

然后查看采集指标,搜索isito,发现有了数据

3. 配置grafana的DataSource

先add data source,设置默认的数据源,在setting中的type中选择prometheus,url选择地址http://172.31.2.2:9090,然后save and test

3. 配置grafana

在原有grafana系统中,Share dashboard,然后Export到文件,然后再在新的grafana中import Json file,然后选定prometheus即可。这样默认得到是DashBoard是无法编辑的,如下两个方式可以调整为可编辑状态:

  • 导出的Json File,需要修改editable为true,否则不能修改只能查看
  • 或者新版可以通过admin账号来Make dashboard editable
    • Setting -> General -> Make Editable

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Istio采集指标prometheus+grafana方案
    • Istio的prometheus支持
      • prometheus在Istio中的现状
      • Istio默认的metric监控指标
      • 接入外部prometheus集群的方案
      • 如何处理prometheus服务发现
    • 新增Istio的prometheus采集指标
      • 接入外部的grafana系统
        • 实战部署外部自有系统
          • 1. Mac安装部署prometheus + grafana
          • 2. 配置prometheus的scrape_configs
          • 3. 配置grafana的DataSource
          • 3. 配置grafana
      相关产品与服务
      服务网格
      服务网格(Tencent Cloud Mesh, TCM),一致、可靠、透明的云原生应用通信网络管控基础平台。全面兼容 Istio,集成腾讯云基础设施,提供全托管服务化的支撑能力保障网格生命周期管理。IaaS 组网与监控组件开箱即用,跨集群、异构应用一致发现管理加速云原生迁移。
      领券
      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档