专栏首页青乡java集中日志系统ELK
原创

集中日志系统ELK

作用

以前都是登陆到每个机器去看日志,特别是一个服务有多个机器集群部署,还要下载多个机器的日志(运维下载日志,然后给开发排查问题),现在elk是集中式日志系统,所有的项目和项目集群都在一个日志系统里,而且可以搜索。


界面

组成

L是收集日志,还有解析日志

E是搜索引擎,就是ElasticSearch

K就是界面

流程

原始日志(L的客户端)——收集和解析日志(L的服务器端)——搜索引擎(E)——界面展示(K)

解释

1.收集日志和解析日志

收集日志就是客户端到服务器,就是把L客户端安装到部署项目的机器,然后读原始日志文件,再写到L的服务器端。这是收集日志,就是:原始日志文件——L的客户端——L的服务器。

L的服务器还要解析日志,主要是解析为固定的几个字段,比如时间、IP(哪个机器的日志)、日志本身的内容、项目名字(哪个项目的日志)。这几个固定字段是搜索引擎需要的字段。

2.搜索引擎

刚才解析之后的字段,再写给搜索引擎。

3.界面

filebeat

为什么要用filebeat,因为L的客户端性能不好,影响部署项目的机器,所以换了filebeat作为L的客户端,作用和L的客户端一样,都是收集日志,本质就是先读原始日志文件,然后再写到L的服务器。这就是filebeat的作用,对部署项目的机器无影响。

kafka

为什么要用kafka,因为日志产生和日志消费的速度不匹配,还有由于网络原因,可能会导致数据丢失,所以才要加消息中间件,因为消息中间件可以缓存海量数据,并且数据不会丢失(丢失可能性极小,不会大量丢失数据)。

架构图的演变

只有ELK

L的客户端没有使用filebeat。


换了filebeat

L的客户端换成了filebeat。


加了消息中间件


双层L

从左往右看

从右往左看

第一层L作用只是分流,第二层L作用是解析为固定几个字段。

参考

https://mp.weixin.qq.com/s/F8TVva8tDgN0tNsUcLoySg

https://www.cnblogs.com/wangxu01/articles/11242408.html

https://blog.qiniu.com/archives/8779

https://jusene.github.io/2018/11/04/elk-1/

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 《TKE学习》TKE服务中的日志采集 (九)

    日志采集功能是容器服务为用户提供的集群内日志采集工具,可以将集群内服务或集群节点特定路径文件的日志发送至 Kafka、Elasticsearch或者腾讯云日志服...

    baron
  • 全栈必备 Log日志

    Log日志,不论对开发者自身,还是对软件系统乃至产品服务都是非常重要的事情。每个开发者都接触过日志,以至于每个人对日志的了解都会有所不同。

    半吊子全栈工匠
  • 一文轻松理解打印有效日志

    一般在程序上线之后,一旦发生异常,第一件事就是要弄清楚当时发生了什么。用户当时做了什么操作,环境有无影响,数据有什么变化,是不是反复发生等,然后再进一步的确定大...

    公众号C语言与CPP编程
  • 小记 | 从 0 到 1,看我玩弄千万日志于股掌

    3. 调试程序,和控制台的作用类似,但是控制台中的内容并不会保存到文件中,而日志可以长期保存。

    程序员鱼皮
  • 业务上云使用腾讯云日志服务方案

    日志服务(Cloud Log Service,下文简称CLS服务)是腾讯云提供的一站式日志数据解决方案,可以快速便捷的接入,享受日志采集、日志存储到日志内容搜索...

    覃春善
  • JAVA日志的前世今生

    直到今天,静儿为了写文章,把自己蒙在空调被里,额,竟然连不上网。于是掀起一个被角,“大象”的巡检结果哒哒哒的弹出来了。然后我感慨:自己当年何苦买那么贵一个“围裙...

    静儿
  • 腾讯云容器服务日志采集最佳实践

    roc,腾讯高级工程师,Kubernetes Contributor,热爱开源,专注云原生领域。目前主要负责腾讯云TKE 的售中、售后的技术支持,根据客户需求...

    腾讯云原生
  • 一种高并发环境下交易日志连续输出的机制

    原文地址:http://www.xzbu.com/1/view-6507464.htm

    后端技术探索
  • C# 写系统日志

    因为我不想使用自己写文件,我的软件是绿色的,所以把日志写到 Windows 日志。

    林德熙
  • 不一样的日志

    这里提的日志并不是应用程序产生的日志,应用程序产生的日志是以一种人类读得懂的方式展示程序运行信息的记录方式,本身不包含任何数据,这篇文章所要描述的日志指的数据系...

    哒呵呵

扫码关注云+社区

领取腾讯云代金券