专栏首页没有故事的陈师傅Elastic Stack 日志收集系统笔记

Elastic Stack 日志收集系统笔记

人活在世上,什么都不要怕,做自己认为对的事儿,慢慢放下输赢和计算。 ——冯唐


关于Elastic Stack

elasticstack是一个应用套件,原名为ELK Stack,由elastic旗下的elasticsearch、logstash、kibana,filebeat四个组件组成,这四个工具组合形成了一套实用、易用的监控架构,很多公司利用它来搭建可视化的海量日志分析平台。

Elasticsearch简介

Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速,近实时地存储,搜索和分析大量数据。它通常用作底层引擎/技术,为具有复杂搜索功能和要求的应用程序提供支持。

Logstash简介

logstash是一款轻量级的用于收集,丰富和统一所有数据的开源日志收集引擎,个人理解logstash就像一根管道,有输入的一端,有输出的一端,管道内存在着过滤装置,可以将收集的日志转换成我们想要看到的日志,输入的一端负责收集日志,管道输出的一端会将日志输出到你想要存放的位置,大多数是输出到elasticsearch里面

Kibana简介

Kibana是一个开源分析和可视化平台,旨在与Elasticsearch协同工作。可以轻松地执行高级数据分析,并在各种图表,表格和地图中可视化您的数据。Kibana使您可以轻松理解大量数据。其简单的基于浏览器的界面使您能够快速创建和共享动态仪表板,实时显示Elasticsearch查询的更改。

Filebeat简介

Filebeat是属于Beats系列的日志托运者 - 一组安装在主机上的轻量级托运人,用于将不同类型的数据传送到ELK堆栈进行分析。每个节拍专门用于传送不同类型的信息 - 例如,Winlogbeat发布Windows事件日志,Metricbeat发布主机指标等等。顾名思义,Filebeat提供日志文件。

在基于ELK的日志记录管道中,Filebeat扮演日志代理的角色 - 安装在生成日志文件的计算机上,并将数据转发到Logstash以进行更高级的处理,或者直接转发到Elasticsearch进行索引。因此,Filebeat不是Logstash的替代品,但在大多数情况下可以并且应该同时使用。

Elastic Stack安装配置

Logstash安装

1.安装logstash需要依赖Java8的环境,不支持Java9

使用yuminstall java命令安装

2.下载并安装公共签名密钥

rpm --importhttps://artifacts.elastic.co/GPG-KEY-elasticsearch

3.添加logstash的yum仓库

vim/etc/yum.repos.d/logstash.repo

[logstash-6.x] name=Elastic repository for 6.xpackages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1autorefresh=1 type=rpm-md

4.使用yuminstall logstash命令安装logstash

Elasticsearch安装

elasticsearch同样需要Java运行环境

1.下载elasticsearch的tar包

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz

2.解压包

tar -xzfelasticsearch-6.4.0.tar.gz

3.修改配置文件

[root@elasticelasticsearch-6.4.0]# vim config/elasticsearch.yml

修改内容如下:

cluster.name:my-elk #设置集群的名字

node.name:es1 #集群中的节点名称,同一集群中的节点名称不能重复

path.data:/elasticsearch/elasticsearch-6.4.0/data #设置es集群的数据位置

path.logs:/elasticsearch/elasticsearch-6.4.0/logs/ #设置存放日志的路径

network.host:192.168.179.134 #绑定本地ip地址

http.port:9200 #设置开放的端口,默认就是9200端口

4.启动elasticsearch

cdelasticsearch-6.4.0/

./bin/elasticsearch

这里要使用普通用户运行,还要把目录授予普通文件权限

chown -Relker.elker /elasticsearch

5.查看启动状态

输入netstat -ntlp|grep 9200查看9200端口是否监听,可以使用curl192.168.179.134:9200或者在浏览器上输入192.168.179.134:9200进行查看启动后的状态

5.启动过程出现的报错

[WARN][o.e.b.BootstrapChecks ] [PWm-Blt]max file descriptors [4096] for elasticsearch process is too low, increase toat least [65536]

解决办法:

vim/etc/security/limits.conf

* softnofile 65536

* hardnofile 131072

* soft nproc2048

* hard nproc4096

[WARN][o.e.b.BootstrapChecks ] [PWm-Blt]max virtual memory areas vm.max_map_count [65530] is too low, increase to atleast [262144]

解决办法:

vim/etc/sysctl.conf

vm.max_map_count=655360

修改完成执行命令:

sysctl-p

Elasticsearch Head插件安装

对elasticsearch集群的操作一直通过rest请求是比较麻烦的,elasticsearch提供了一个head插件来对elasticsearch集群在浏览器上进行操作,ElasticSearch-head是一个H5编写的ElasticSearch集群操作和管理工具,可以对集群进行傻瓜式操作。下面我们来进行head插件的安装。

1.安装node.js

这里我采用的源码安装,其实二进制安装是比较简单的,但我执行到最后node的二进制文件无法执行,因此只能源码安装,时间有点长,打了两局王者荣耀才装完

wget https://nodejs.org/dist/v8.11.4/node-v8.11.4.tar.gz #下载node的源码包

tar -zxvfnode-v8.11.4 #解压源码包

./configure && make && make install #执行编译安装

echo $? #查看执行结果,输出0表示安装成功

node.js默认安装路径在/usr/local/bin/目录下

2.安装grunt

grunt是基于Node.js的项目构建工具,可以进行打包压缩、测试、执行等等的工作,head插件就是通过grunt启动

npm install -g grunt-cli

3.下载并安装head插件

git clonegit://github.com/mobz/elasticsearch-head.git #克隆head插件仓库

cd elasticsearch-head/

npm install #执行完会报一些错误,不要管执行下一条命令就会解决

npm install phantomjs-prebuilt@2.1.14 --ignore-scripts

4.修改elasticsearch的配置

vim/elasticsearch/elasticsearch-6.4.0/config/elasticsearch.yml

http.cors.enabled: true #elasticsearch中启用CORShttp.cors.allow-origin: "*" # 允许访问的IP地址段,* 为所有IP都可以访问

5.启用head插件并在浏览器上打开

npm run start #启动head插件

在浏览器输入http://192.168.179.134:9100/即可使用head插件

在以后的每次启动中,只需要在head插件的目录执行grunt server就可以了

Kibana安装

1.下载并解压kibana包

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gz

tar -xzfkibana-6.4.0-linux-x86_64.tar.gz

2.修改kibana默认配置

vimkibana-6.4.0-linux-x86_64/config/kibana.yml

server.port:5601 #kibana默认端口是5601

server.host:"192.168.179.134" #设置绑定的kibana服务的地址

elasticsearch.url:"http://192.168.179.134:9200" #设置elasticsearch服务器的ip地址,不修改的话启动的时候会报[elasticsearch] Unable to revive connection: http://localhost:9200/连接不上elasticsearch的错误

kibana.index:".kibana" #创建一个kibana的索引

3.启动kibana

/kibana-6.4.0-linux-x86_64/bin/kibana

netstat-ntlp |grep 5601 #可以查看5601端口是否启动

在浏览器输入192.168.179.134:5601即可访问kibana

4.出现的警告信息

虽然出现警告信息,不过还是可以启动kibana的,本人有点强迫症,不想看到警告信息

警告信息1:[security] Generating a random key for xpack.security.encryptionKey.To prevent sessions from being invalidated on restart, please setxpack.security.encryptionKey in kibana.yml

解决方法:修改配置文件vimconfig/kibana.yml

在配置文件底部添加

xpack.reporting.encryptionKey:"a_random_string"

警告信息2:[security] Session cookies will be transmitted over insecureconnections. This is not recommended.

解决方法:修改配置文件vimconfig/kibana.yml

在配置文件底部添加

xpack.security.encryptionKey:"something_at_least_32_characters"

5.检查kibana状态

在浏览器输入192.168.179.134:5601/status查看kibana状态,或者输入http://192.168.179.134:5601/api/status查看json格式的详细状态

Elasticsearch的相关概念与操作

集群

集群是一个或多个节点(服务器)的集合,它们共同保存您的整个数据,并提供跨所有节点的联合索引和搜索功能。

集群健康

Elasticsearch 的集群监控信息中包含了许多的统计数据,其中最为重要的一项就是集群健康,它在status字段中展示为 green 、yellow或者red 。

它的三种颜色含义如下:

green

所有的主分片和副本分片都正常运行。

yellow

所有的主分片都正常运行,但不是所有的副本分片都正常运行。

red

有主分片没能正常运行。

可以在命令行使用curl -X GET"192.168.179.134:9200/_cluster/health"

或者在浏览器上输入192.168.179.134:9200/_cluster/health查看集群健康状态

“unassigned_shards”表示没有分配到任何节点上的副本分片数

节点

节点是作为群集一部分的单个服务器,存储数据并参与群集的索引和搜索功能。一个运行中的Elasticsearch 实例称为一个 节点,而集群是由一个或者多个拥有相同集群名配置的节点组成,它们共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时,集群将会重新平均分布所有的数据。

当一个节点被选举成为 主节点时, 它将负责管理集群范围内的所有变更,例如增加、删除索引,或者增加、删除节点等。而主节点并不需要涉及到文档级别的变更和搜索等操作,作为用户,我们可以将请求发送到集群中的任何节点,包括主节点。每个节点都知道任意文档所处的位置,并且能够将我们的请求直接转发到存储我们所需文档的节点。无论我们将请求发送到哪个节点,它都能负责从各个包含我们所需文档的节点收集回数据,也就是说,你发送的请求发到了整个elasticsearch集群上

索引

索引是具有某些类似特征的文档集合。例如,如果你要收集系统日志,你可以建立一个系统日志的索引。 索引实际上是指向一个或者多个物理分片的逻辑命名空间

分片

一个分片是一个底层的工作单元,它仅保存了全部数据中的一部分。 Elasticsearch是利用分片将数据分发到集群内各处的。分片是数据的容器,文档保存在分片内,分片又被分配到集群内的各个节点里。当你的集群规模扩大或者缩小时, Elasticsearch 会自动的在各节点中迁移分片,使得数据仍然均匀分布在集群里。每个分片本身都是一个功能齐全且独立的“索引”,可以托管在集群中的任何节点上。一个分片可以是主分片或者副本分片。 索引内任意一个文档都归属于一个主分片,所以主分片的数目决定着索引能够保存的最大数据量。一个副本分片只是一个主分片的拷贝。 副本分片作为硬件故障时保护数据不丢失的冗余备份,并为搜索和返回文档等读操作提供服务。在索引建立的时候就已经确定了主分片数,但是副本分片数可以随时修改。

在相同节点数目的集群上增加更多的副本分片并不能提高性能,因为每个分片从节点上获得的资源会变少。但是更多的副本分片数提高了数据冗余量。

索引与分片的比较

被混淆的概念是,一个 Lucene 索引 我们在 Elasticsearch 称作分片。一个elasticsearch索引是分片的集合。当 Elasticsearch 在索引中搜索的时候, 他发送查询到每一个属于索引的分片(Lucene 索引),然后像 执行分布式检索 提到的那样,合并每个分片的结果到一个全局的结果集。

创建索引

在命令行中执行curl-X PUT "192.168.179.134:9200/custome?pretty"可以创建一个名为custome的索引,如果要修改索引创建默认的主分片数和副本分片数,可以执行如下命令

[root@elastic~]# curl -X PUT "192.168.179.134:9200/blogs" -H 'Content-Type:application/json' -d'

{

"settings" : {

"number_of_shards" : 3,

"number_of_replicas" : 1

}

}

'

以上命令表示创建了一个包含3个主分片和一个副本(即三个副本分片)的blogs索引

我们还可以在浏览器使用http://192.168.179.134:9200/_cat/indices?v或者在命令行中使用curl -X GET "http://192.168.179.134:9200/_cat/indices?v"查看集群中的索引

可以看到我已经创建了三个索引,并且还可以看到我的集群健康状态显示为yellow,上面说了yellow表示存在副本分片没有正常运行,因为我的elasticsearch集群只有一个节点,elasticsearch不能把同一索引的主分片和副本分配在一个节点上,这样也是没有意义的,因为只要一个节点挂了,节点上的主分片和副本上的数据就都丢失了,也就不存在什么高可用性了

创建文档

在命令行下执行下面的命令可以创建文档

curl -X PUT"192.168.179.134:9200/customer/_doc/1?pretty" -H 'Content-Type:application/json' -d'

{

"name": "John Doe"

}

如图所示,我们刚刚在customer索引中创建了一个名为John Doe,ID为1的文档

可以在浏览器使用http://192.168.179.134:9200/customer/_doc/1?pretty或者在命令行中输入curl -X GET192.168.179.134:9200/customer/_doc/1?pretty查看刚刚创建的文档

删除索引

在命令行中使用curl-X DELETE "192.168.179.134:9200/customer"命令可以删除索引

再次查看集群中的索引,会发现customer索引已经不见了

如果要删除全部索引的话可以执行curl -X DELETE "192.168.179.134:9200/_all"或者curl -X DELETE "192.168.179.134:9200/*"

其实可以发现,以上的几条命令都是有固定的命令格式

<REST动作>/<索引>/<类型>/<ID>

删除文档

在命令行执行命令curl-X DELETE "192.168.179.134:9200/customer/_doc/1?pretty"可以删除customer索引ID为1的文档


由于笔记还没有完成,先将部分笔记发公众号,等全部写完再丢github

参考链接:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

本文分享自微信公众号 - 没有故事的陈师傅(mygsdcsf)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-10-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • PKW: asyncio 标准库简介(第 4 期)

    ”事情很少有根本做不成的;其所以做不成,与其说是条件不够,不如说是由于决心不够。“ ”Few things are impossible in themselv...

    周萝卜
  • kubernetes资源清单之Pod应用

    pod.spec.containers.imagePullPolicy:镜像的拉取策略

    kubernetes中文社区
  • 运维监控之使用Prometheus + Grafana 监控 mysql

    上篇我们介绍如何通过Prometheus + Grafana +node explorer来监控linux,本文介绍一下如何通过Prometheus + Gra...

    lyb-geek
  • Docker 快速部署一个 node App

    Docker 的安装看官方文档,文档很详细了 https://docs.docker.com/docker-for-mac/install/

    JS菌
  • Node.js + Consul 实现服务注册、健康检查、配置中心

    本篇主要介绍了 Node.js 如何与 Consul 进行集成,Consul 只是服务注册的一种实现,还有其它的例如 Zookeeper、Etcd 等,服务注册...

    五月君
  • 【快学springboot】10.使用@Async注解创建多线程,自定义线程池

    使用@Async注解创建多线程非常的方便,还可以通过配置,实现线程池。比直接使用线程池简单太多。而且在使用上跟普通方法没什么区别,加上个@Async注解即可实现...

    Happyjava
  • 在较小内存的机器上运行Elasticsearch与Kibana

    因为穷,只买得起1G内存的乞丐配置版的云服务器,但是又想玩玩Elasticsearch+Kibana。而Elasticsearch默认的heap size就是1...

    dandelion1990
  • 2019年小白学习web前端路线图及学习攻略

    Js基础教程、js内置对象常用方法、常见DOM树操作大全、ECMAscript、DOM、BOM、定时器和焦点图。

    用户4962466
  • 从入门到跑路之Kubernetes(六)

    Master节点主要由四个模块组成,APIServer,Schedule, Controller Manager, etcd。

    周萝卜
  • 运维监控之使用Prometheus + Grafana 监控 Linux

    本文主要介绍如何使用prometheus + grafana+node_exporter 监控 Linux,在介绍如何监控之前,先简要介绍一下grafana和g...

    lyb-geek

扫码关注云+社区

领取腾讯云代金券