你知道你的 K8s 集群在你没使用的时候在做什么吗？谁与他建立 TCP 了通信？他调用了谁？通过使用 k8spacket 和 Grafana，我们可以可视化集群中的 TCP 流量，这样可以了解工作负载是如何相互通信。检查建立了多少连接，交换了多少字节，以及这些连接处于活动状态的时间。
大海是我多年老友，六七年前我们因OpenStack而相识，然后一起北上创业。创业结束后，他加入了某大厂，成为一名运维骨干。他做事负责，为人靠谱；勤于学习，从OpenStack运维，到K8S和云原生应用运维，不断更新自己的技术栈；喜欢写代码，笃信“能用代码做的事情就不人工做”，经常说“嗨，你看看我新写的这个工具...”；还喜欢分享，写过不少技术文章，我们也常夜聊技术。技术一直在变，我们对技术的热情不变，我们的友情也不变。
在Kubernetes中排查故障是一个常见但有时复杂的任务，因为它涉及到多个层次的组件和服务。以下是常用的方式和方法，可以帮排查Kubernetes中的故障：
本文环境是二进制部署的k8s集群，prometheus和grafana通过yaml部署（非operator）
https://prometheus.io/docs/prometheus/latest/configuration/configuration/#kubernetes_sd_config
在CDSW1.7及以后版本引入了Prometheus + Grafana提供了一套可视化的Dashboard，可以监视CDSW中各个Pod是如何使用集群的CPU/GPU、内存及存储资源。Prometheus是一个内部的时序数据源，会自动记录CDSW中每个部署资源使用数据，Grafana是一个可视化的监控仪表盘，可以自定义自己的监控图表。CDSW默认已提供了3个Grafana的Dashboards：K8 Cluster，K8s Container 和K8 Node，通过提供的基础监控仪表盘可以创建更多的自定义监控图表。本文档会介绍如何查看及使用Grafana。
Prometheus（普罗米修斯）是一个最初在SoundCloud上构建的监控系统。自2012年成为社区开源项目，拥有非常活跃的开发人员和用户社区。为强调开源及独立维护，Prometheus于2016年加入云原生云计算基金会（CNCF），成为继Kubernetes之后的第二个托管项目。
https://github.com/kubernetes/heapster/tree/master/deploy
kubeadm工具快速部署k8s集群实现故障自动发现、转移及修复，集群中部署prometheus+grafan可实现自动收集集群的各项新性能指标数据，可视化界面提升客户对各项性能指标的直观感知，实现高效快速故障排查及解决。
2. demo文件夹是放置脚本的，内部默认放置TEST.jmx脚本，用于测试构建计划是否能正常跑通
通过各种exporter采集不同维度的监控指标，并通过Prometheus支持的数据格式暴露出来，Prometheus定期pull数据并用Grafana展示，异常情况使用AlertManager告警。
随着云原生的推进，k8s和service mesh已然成为云上的事实标准，我们的压测引擎也是基于这个理念演化而来。整个引擎的架构为k8s+jmeter+influxdb+grafana，其中：
概念:把一个大型的单个应用程序和服务拆分为数个甚至数十个的支持微服务，这些应用可独立地进行开发、管理和迭代
Kubermetrics是一种开源工具，可在简单易懂的用户界面中提供 Kubernetes 集群监控和数据可视化。
一、Prometheus介绍 之前已经详细介绍了Kubernetes集群部署篇，今天这里重点说下Kubernetes监控方案-Prometheus+Grafana。Prometheus（普罗米修斯）是一个开源系统监控和警报工具，最初是在SoundCloud建立的。自2012年成立以来，许多公司和组织都采用了普罗米修斯，该项目拥有一个非常活跃的开发者和用户社区。它现在是一个独立的开放源码项目，并且独立于任何公司，为了强调该点并澄清项目的治理结构，Prometheus在2016年加入了云计算基金会，成为继Kubernetes之后的第二个托管项目。 Prometheus是用来收集数据的,同时本身也提供强大的查询能力,结合Grafana即可以监控并展示出想要的数据。
k8s集群部署详见：Centos7.6部署k8s(v1.14.2)集群 k8s学习资料详见：基本概念、kubectl命令和资料分享 k8s高可用集群部署详见：Centos7.6部署k8s v1.16.4高可用集群(主备模式) k8s集群高可用部署详见：lvs+keepalived部署k8s v1.16.4高可用集群
前言 今年6月，Kubernetes （K8s）迎来了8周岁。K8s 大幅降低了容器化应用部署的门槛，目前已在容器编排领域的事实标准。但随着 K8s 上的业务类型越来越丰富，它的配置也越来越复杂，给开发和运维同学带来了不少困难。 在 K8s 环境中，应用程序运行在跨集群内的多个节点，同时服务也将分布在多个集群或者多个云厂商中，这就使得追踪、监控这些应用程序及其所依赖的基础设施的健康状况，具有非常大的挑战性。 在这样的环境下，Prometheus 应运而生，天然支持 K8s，成为容器场景的最佳监控工具。在
上一个章节中kubernetes系列教程(十九)使用metric-server让HPA弹性伸缩愉快运行介绍了在kubernetes中的监控架构，通过安装和使用metric-server提供kubernetes中的核心监控指标：提供node节点和pod容器CPU和内存的监控能力，核心监控指标提供的监控维度和指标相对有限，需要更好的扩展监控能力，需要使用自定义监控来实现，本文介绍prometheus提供更更加丰富的自定义监控能力。
本文介绍在k8s集群中使用node-exporter、prometheus、grafana对集群进行监控。
其中基础设施层监控指标的拉取肯定是来在Prometheus的node_exporter，因为我们要监控的服务器节点既包含Kubernetes节点又包含其他部署独立中间件的节点， 所以我们并没有将node_exporter以daemonset的形式部署到k8s上，而是使用ansible将node_exporter以二进制的形式部署到所有要监控的服务器上。 而负责从node_exporter拉取指标的Prometheus也是用ansible独立部署在Kubernetes集群外部的。Prometheus的配置文件prometheus.yml使用ansible的j2模板生成。
https://github.com/hepyu/k8s-app-config/tree/master/yaml/min-cluster-allinone/redis-cluster-min
//这里使用的dashboard版本较高，相较于之前的版本访问必须使用火狐浏览器，这里不需要。
grafana 为 kubernetes 提供了一套模板，用来展示集群的运行负载。
Heapster是Kubernetes原生的集群监控方案,Kubelet自身就包含了一个名为cAdvisor的agent，它会收集整个节点和节点上运行的所有单独容器的资源消耗情况。Heapster以pod的方式运行在某个节点上，它通过普通的KubernetesService暴露服务，使外部可以通过一个稳定的IP地址访问。它从集群中所有的cAdvisor收集数据，然后通过一个单独的地址暴露。
现在很多业务为了能否在k8s上进行一些定制的二次开发，都会选择tke的独立集群，独立集群，用户可以自行管理master做一下定制化配置，如果是托管集群，需要工单联系后端修改。
Prometheus 是一款免费软件，用于监控事件和警报工具。它可以帮助在时间戳系列数据库中记录实时指标，使用 Http 模型进行 n 次查询和实时报警。我们可以使用 Prometheus 来监控整个 Kubernetes 集群。
Prometheus 是一个开放性的监控解决方案，通过 Node Exporter 采集当前主机的系统资源使用情况，并通过 Grafana 创建一个简单的可视化仪表盘。
随着容器技术的迅速发展，Kubernetes 已然成为大家追捧的容器集群管理系统。Prometheus 作为生态圈 Cloud Native Computing Foundation（简称：CNCF）中的重要一员,其活跃度仅次于 Kubernetes, 现已广泛用于 Kubernetes 集群的监控系统中。本文将简要介绍 Prometheus 的组成和相关概念，并实例演示 Prometheus 的安装，配置及使用，以便开发人员和云平台运维人员可以快速的掌握 Prometheus。
目前CDSW的最新版本是1.7.1，此版本仅支持从1.5.x和1.6.x升级，其他更低的版本需要先升级到1.5.x或1.6.x，然后再升级到1.7.1。本文档将介绍如何基于CDH5.16.1将CDSW从1.6升级到1.7.1。
对于部署在K8S上的Kafka来说，Prometheus+Grafana是常用的监控方案，今天就来实战通过Prometheus+Grafana监控K8S环境的Kafka；
监控系统的历史悠久，是一个很成熟的方向，而 Prometheus 作为新生代的开源监控系统，慢慢成为了云原生体系的事实标准，也证明了其设计很受欢迎。
在"容器技术革命"中，K8S俨然已经成为容器技术的事实标准，各个知名互联网企业前仆后继地拥抱云原生，争先恐后地把容器和K8S作为战略重心之一。
在现代的容器化环境中，Prometheus 已经成为了监控和警报的事实标准。而在 Kubernetes（k8s）集群中，部署和配置 Prometheus 是一项关键任务，它可以帮助我们收集和分析各种资源、应用程序和集群级别的指标数据。
使用 helm 安装 Prometheus Operator。使用 helm 安装后，会在 Kubernetes 集群中创建、配置和管理 Prometheus 集群，chart 中包含多种组件：
看到这篇文章的时候，你很可能已经了解到了使用 kubernetes 管理多服务架构的好处。本文不会讨论为什么要使用 kubernetes，而是重点讨论你已经确定将kubernetes作为你的解决方案后，如何使用它。
Prometheus组件包括:Prometheus server、push gateway 、alertmanager、Web UI等。
描述: 本章主要讲解和实践Prometheus在企业中的应用场景的复现,采用了docker-compose的资源清单进行快速构建prometheus_server、prometheus_pushgateway、prometheus_alertmanager、grafana等环境。
很早就听说过PMM，Percona开发的一套对MongoDB, MySQL, Postgres建立监控系统的套件。曾经也抽空想试用下，但由于使用上的各种毛病，以及文档欠缺，没成过。最近在Mongo中文社区里听群友谈到已经有PMM2了，迫不及待地搭建一把，看看什么样子，毕竟网络上详细谈PMM搭建的貌似不多，此文抛砖引玉。
在 Kubernetes 中，监控和日志属于生态的一部分，它并不是核心组件，因此大部分的能力依赖上层的云厂商的适配。Kubernetes 定义了介入的接口标准和规范，任何符合接口标准的组件都可以快速集成。
[TOC] 0x00 前言简述 0.学习导读 Q: 什么是监控? 描述: 一般的将这类可操作的计算机系统归纳为以下四个特征; 1.告警: 掌握故障的发生时间并通知相应人员(监控的重要目标)。 2.调
在k8s环境中，常使用prometheus+grafana做监控组件，prometheus负责采集、存储数据，grafana负责监控数据的可视化。
通过daemonset部署可使每个节点都有一个Pod来采集数据，node-exporter.yaml 内容如下：
Prometheus把所有的数据按时序列进行存储， 所有采集上来的数据在都被打了时间戳并按时间先后顺序进行流化，这些数据属于相同的指标名以及一组标签维度（labeled dimensions）
(1).关于prometheus-operator和kube-prometheus
作为K8S官方提供的仪表盘工具，它以简洁而直观的界面展示和管理K8S集群中的各类资源。
经典的ELK架构或现被称为Elastic Stack。Elastic Stack架构为Elasticsearch + Logstash + Kibana + Beats的组合：
描述: 在《Ops实践 | 从零开始，在云原生环境下快速实现K8S集群可视化监控》文章中，针对 Kubernetes 集群资源监控部分，作者写得有些含糊不清，所以此文我将对K8S集群组件（kubelet、kube-proxy）以及使用kube-state-metric暴露资源（deployment、statefulset、service、pod）的监控指标整理介绍。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
