专栏首页黑泽君的专栏大数据技术之_20_Elasticsearch学习_02_ELK 简介以及新旧版架构介绍

大数据技术之_20_Elasticsearch学习_02_ELK 简介以及新旧版架构介绍

1. ELK 简单介绍

  ELK 是 elastic(美国数据搜索软件初创公司) 公司提供的一套完整的日志收集、日志搜索分析、展示解决方案,是三个产品的首字母缩写。这三个产品分别是 ElasticSearch、Logstash 和 Kibana,同时加入 beats 来优化 Logstash。

  • ElasticSearch:是一个基于 Lucene 构建的分布式开源项目,采用的是 RESTful 搜索引擎。   • Logstash:用于传输和处理日志、事务或其他数据。   • Kibana(科班纳):将 ElasticSearch 的数据分析并渲染为可视化的报表。

2. ELK 的用途

  ELK 主要用途于大型分布式系统的日志集中分析,通过 ELK 这套解决方案,可以实现日志收集、日志搜索和日志分析的功能。

3. ELK 的优点

  互联网行业中日志数据非常重要,形式也多种多样。通过日志我们可以计算请求量、流量来源分析、了解用户行为。对于故障排除也是具有重要意义,故障问题的快速排除几乎都是通过快速的日志查询、定位、解决问题。对于实时性要求非常高。

收集   能够采集多种来源的日志数据。 • 传输   能够稳定的把日志数据传输到中央系统。 • 转换   能够对收集的日志数据进行转换处理。 • 存储   存储日志数据。 • 分析   可以支持 UI 分析。 • 告警   能够提供错误报告,监控机制。

4. ELK 旧版架构

  旧版的 ELK 构架需要在每个项目的节点(也就是电脑节点)上部署 Logstash,然后收集起来发送给 ElasticSearch。这样会造成一种情况就是系统的资源和 CPU 消耗的更严重,框架相对比较臃肿笨重。

5. ELK 新版架构

6. 新版 ELK 架构介绍

(1)Beat 部件介绍   Beats 是单一用途的数据传输平台,它可以将多台机器的数据发送到 Logstash 或 ElasticSearch。但 Beats 在新版的 ELK 的架构并不是不可或缺的一环。   • Package Beat:用于收集包相关的日志记录。   • Top Beat:用于收集系统相关(如CPU等)的日志记录。   • File Beat:用于收集文件相关的日志记录。   • your Beat:用于收集自定义相关的日志记录。

(2)Logstash   Logstash 是一个动态数据收集管道。支持 TCP/UDP/HTTP 多种方式收集数据,也可以接受 Beats 传输来的数据,并对数据做进一步丰富或提取字段处理。

(3)ElasticSearch   ElasticSearch 是一个基于 JSON 的分布式的搜索和分析引擎。作为 ELK 的核心,它集中存储数据。

(4)Kibana   Kibana 是 ELK 的用户界面。它将收集的数据通过各种报表或图形化数据进行可视化展示,并且提供配置、管理 ELK 的界面。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • GitHub上如何创建小组?

    比如:在谷歌工作,有开发小组、营销小组、运营小组,     在我所在的开发小组里面有三个人,我们需要访问相同的代码仓库,并且经常需要互相交流。     这个...

    黑泽君
  • 大数据技术之_03_Hadoop学习_02_入门_Hadoop运行模式+【本地运行模式+伪分布式运行模式+完全分布式运行模式(开发重点)】+Hadoop编译源码(面试重点)+常见错误及解决方案

      Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。   Hadoop官方网站:http://hadoop.apache.org/

    黑泽君
  • 苦逼or牛逼

      作为一个程序员,他要懂得各种网络语言,需要懂得各种代码编程,可以说是屌丝中的屌丝,牛人中的牛人,C++、java什么的对他们来说都是浮云,他们有着一个远大的...

    黑泽君
  • 基因矩阵转置文件格式(* .gmt)

    gmt文件可能对于很多人来说比较陌生,但是对于使用GSEA(https://www.gsea-msigdb.org/)做过基因富集分析的人应该并不陌生。

    用户7627119
  • Spark性能调优01-资源调优

    在开发完Spark作业之后,就该为作业配置合适的资源了。 Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。

    CoderJed
  • Spark资源调优

    Spark 作者:章华燕 编辑:龚 赛 概述 1 在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可...

    机器学习算法工程师
  • linux学习第六十四篇:Shell脚本中的逻辑判断,文件目录属性判断, if特殊用法,case判断

    Shell脚本中的逻辑判断 格式1:if 条件 ; then 语句; fi 格式2:if 条件; then 语句; else 语句; fi 格式3:if …; ...

    用户1215343
  • 章神的私房菜之数据预处理

    作者:章华燕 编辑:徐松 Scikit-learn实战之数据预处理 ——Data Preprocessing ---- 各位看官,我们又见面了, 今天我们继续学...

    机器学习算法工程师
  • Java 修改文件名

    IT小马哥
  • 如何让Filddler抓包时忽略某些主机名

    在Skip Decryption的编辑框里,把不想看到的请求对应的主机名维护进去即可:

    Jerry Wang

扫码关注云+社区

领取腾讯云代金券