基于K8S运维-系统日志聚合

新的一年正式上班了，继续基于Docker+K8S架构方面的内容介绍

系统信息聚合的作用

信息查找：通过检索日志信息，定位相应的Bug，找出

解决方案；

服务诊断：通过对日志信息进行统计、分析，作为了解

服务器的载荷和服务运行状态的补充手段之一，由于日

志信息的精准特性，可以精确定位整个链路中的性能和

稳定性瓶颈点

数据分析：可以针对格式化的数据进行挖掘，统计聚合

出有意义的信息

kafka+ELK

使用Kafka+ELK的方案来搭建日志分析监控系统

由Logstash来收集和消费日志信息

由ElasticSearch来做数据存储、聚合和全文检索

由Kibana作图形化的数据展现

由kafka作数据传输

部署方式

每个节点上的所有Pod的日志，通过数据卷存储在

一个固定的目录里面，以主机IP+服务命名

每个Node都通过Deamon Set部署一个Logstash Pod

ElasticSearch+Kibana两个容器作为一个Pod