专栏首页一猿小讲傻瓜也能玩转日志归集

傻瓜也能玩转日志归集

关注"一猿小讲"的猿友们都知道,前段时间我在《一文讲懂线上应用系统监控》给大家简单提到了日志归集,埋下了伏笔,今天的这篇分享是来给大家还债的,主要从整体到局部,深入了解一下日志归集。如果你正在困惑于每天登录服务器查询业务日志的繁琐,或正在寻找一个业务日志归集的方案,那么就请跟紧我的脚步,莫掉队。

01. 放空大脑,去思考

众所周知,生活中每做一件大事要有有计划有步骤的进行。日志归集也不例外,就让我们放下陈谷子烂芝麻的琐事,静下来随着我思考一二。

“日志归集”四个字,从中我们看到操作的对象是:日志;进行的动作是:归集。

那该如何做呢?

之前的分享曾讲过,日志采集的方式、采集的日志如何存储、采集的数据展示分析等几个环节,并提了一下当下最流行的开源轮子EFK,如果你是第一次听到这些,建议看看我前段时间分享的《一文讲懂线上应用系统监控》那篇文章。今天主要是实战,理论性的东西点到为止。

02.拒绝空想,就是干,傻瓜也能用 EFK

一切技术轮子都是纸老虎。有时,发现打破纸老虎的最佳方法,莫过于亲身实践。那就让我们行动起来,真枪实弹从 0 到 1 搭建一个轻量级的日志采集服务。

Filebeat

能轻松地将你关心的数据推送至你想存储的地方,让日志采集的事情变的简单化。

选择适合自己的,才是最好的。Filebeat 对不同的系统提供不同的可执行版本。下载最新版本(Mac系统进行演示):

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.1.1-darwin-x86_64.tar.gz

要采集谁。

vi filebeat-7.1.1-linux-x86_64/filebeat.yml

往哪儿推。

vi filebeat-7.1.1-linux-x86_64/filebeat.yml

由于本次进行本机演示操作,所以默认地址配置就满足需求。

一键启动。

./filebeat -e -c filebeat.yml

Elasticsearch

可以集中存储我们的数据,而且快到不可思议的查询。

提供千万款,总有一款适合你。下载最新版本(Mac系统进行演示)

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-darwin-x86_64.tar.gz

一键启动。

bin/elasticsearch

论成败。

curl http://localhost:9200/

Kibana

能够对 Elasticsearch 中的数据进行可视化。集可点击、可拖动、可挖掘本领于一身的可视化组件高手。

乐享 Kibana。纵佳丽三千,择其一而终老。下载最新版本(Mac系统进行演示)

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.1.1-darwin-x86_64.tar.gz

一键启动。

bin/kibana

启动初恋的感觉。

一探究竟。

在浏览器中访问 http://localhost:5601,效果图如下。

到此采用 EFK 简易的日志采集架构就完成了。神奇的是这款技术轮子,还真能把采集的日志展示出来了,自此鸟枪换炮,妈妈再也不用担心我因为查询日志下班晚回家吃饭啦。

03. 带你牛,带你飞

站在巨人的肩膀上。

由于 Kibana 功能比较多,有太多的功能用不到,相对还是比较笨重。所以公司往往都进行二次开发轻量级的查询组件。

其中实现思路特别简单:分析 kibana 日志搜索向后台发送的请求;摘取 elasticsearch 请求相关API;按照公司需求提供个性化查询展示页面。

轻量级 vs 重量级。

如果是轻量级的采集方案,那么 EFK + 定时清理 elasticsearch 的脚本就够用(目前线上采取的方案);如果是重量级 + 高可用,那么在Fliebeat 与 Elasticsearch 中间加上一个队列缓冲组件会比较靠谱。

04. 写在最后

拒绝温水煮青蛙,拒绝一味的 CRUD,如果平时工作中遇到痛点不妨稍微思考一二,看看有没有更好的技术轮子可以引进,说不定会提高工作效率,那么就可以抽出更多时间去喝咖啡、抽出更多时间去忙点自己的事情。

本文分享自微信公众号 - 一猿小讲(yiyuanxiaojiangV5),作者:一猿小讲

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-06-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 经验分享一箩筐,从此再也不入坑

    多用户并发情况下,CPU 利用率长期为100%,DUMP 线程信息,发现 CPU 利用率高的线程都与 HashMap 操作相关。

    一猿小讲
  • 一篇文章讲透线上应用监控

    “线上服务停了,要重启一下”?久经职场做研发的程序员,视线会逐渐转移到线上应用的运行状态。设想一下,如果你在半夜两点正在酣眠美梦时,微信群里突然炸开锅:“服务停...

    一猿小讲
  • 玩弄日志归集于手掌之中

    关注“一猿小讲”公众号的粉丝都清楚,在《傻瓜也能玩转日志归集》一文中,分享过一个业界使用成熟的日志归集方案 EFK。而今天,咱们再谈日志归集,但是今天的分享,却...

    一猿小讲
  • 微型分布式架构设计范例

    设计该系统初衷是基于描绘业务(或机器集群)存储模型,分析代理缓存服务器磁盘存储与回源率的关系。

    mariolu
  • 如何设计一个麻雀般的微型分布式架构?

    设计该系统初衷是基于描绘业务(或机器集群)存储模型,分析代理缓存服务器磁盘存储与回源率的关系。系统意义是在腾讯云成本优化过程中,量化指导机房设备扩容。前半部分是...

    Java高级架构
  • SQL Server事务日志的初学者指南

    程序你好
  • ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台

    ELK平台介绍 在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自:http://baidu.blog.51cto.com/7193...

    Albert陈凯
  • SQL SERVER ALWAYS ON 为什么日志无法dump

    SQL SERVER 还有人用,对的,很多人都在用,尤其很多企业,非互联网的企业。那今天就说说 SQL SERVER ALWAYS ON 高可用集群中,为什么不...

    AustinDatabases
  • 解决简单恢复模式下产生的日志增长

    简介   最近测试服务器进行数据归档,其间程序员发现一个问题,空间不足,我查看原因发现日志文件暴涨。然后将数据库改为简单恢复模式,但是依然存在这个问题。经过查询...

    用户1217611
  • ELK 系统在中小企业从0到1的落地实践

    ELK 是一般被称作日志分析系统,是三款开源软件的简称。通常在业务服务上线后我们会部署一套 ELK 系统,方便我们通过图形化界面直接查找日志,快速找到问题源并帮...

    CSDN技术头条

扫码关注云+社区

领取腾讯云代金券