前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >fliebeat+kafka的ELK日志分析平台(下)

fliebeat+kafka的ELK日志分析平台(下)

原创
作者头像
陈不成i
修改2021-07-05 14:32:51
3650
修改2021-07-05 14:32:51
举报
文章被收录于专栏:ops技术分享

配置elasticsearch

操作服务器(elastic-server) 1.先安装jdk-1.8 yum install java-1.8.0 -y

2.下载elasticsearch的二进制包,直接解压即用 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.2-linux-x86_64.tar.gz tar -xf elasticsearch-7.4.2-linux-x86_64.tar.gz mv elasticsearch-7.4.2-linux-x86_64 /usr/local/elastic

3.修改elasticsearch的配置文件 vim /usr/local/elastic/config/elasticsearch.yml

代码语言:javascript
复制
cluster.name: nginx-elk
node.name: node-1
cluster.initial_master_nodes: node-1
path.data: /data
path.logs: /var/log/elastic
bootstrap.memory_lock: false
network.host: 0.0.0.0
http.port: 9200

4.创建数据目录和日志目录 mkdir /data mkdir /var/log/elastic groupadd elastic useradd -g elastic elastic chown -R elastic:elastic /data /var/log/elastic

5.修改启动内存,一般为内存的1/2 vim /usr/local/elastic/config/jvm.options

代码语言:javascript
复制
-Xms512m-Xmx512m

6.切换到elastic,启动服务 su - elastic

启动后查看日志,这个要等一会,会慢慢刷出来,如果到最后直接退出了,就是有报错,没通过预检查,需要将报错条目找出来,按照文档elastic报错解析进行解决 /usr/local/elastic/bin/elasticsearch

file
file

若都符合要求,会卡在日志界面,使用ctl + c强制停止,然后用如下命令在后台启动 /usr/local/elastic/bin/elasticsearch -d

配置kibana

操作服务器(lk-server) 1.下载二进制包,解压即用 wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.2-linux-x86_64.tar.gz tar -xf kibana-7.4.2-linux-x86_64.tar.gz mv kibana-7.4.2-linux-x86_64 /usr/local/kibana

2.修改kibana配置文件 vim /usr/local/kibana/config/kibana.yml

代码语言:javascript
复制
server.host: "1.1.1.5"
server.port: 5601
server.name: "testlog"
xpack.reporting.encryptionKey: "a_random_string"
xpack.security.encryptionKey: "something_at_least_32_characters"
elasticsearch.hosts: "http://1.1.1.4:9200"

3.启动kibana,如果是root启动,要加允许参数 /usr/local/kibana/bin/kibana --allow-root

查看输出是否有error项,如果是warning则问题不大,只是一些插件之类的没加载,可正常使用。错误和警告解决可查阅kibana报错说明解决

若都符合要求,会卡在日志界面,使用ctl + c强制停止,然后用如下命令在后台启动 nohup /usr/local/kibana/bin/kibana --allow-root &>> kibana.log &

4.查看elasticsearch的索引,是否kibana使用了elasticsearch建立默认索引 curl http://1.1.1.4:9200/_cat/indices

file
file

5.访问nginx,制造一些访问记录 curl http://1.1.1.1

稍等一会,再查看elastichsearch记录,会有之前在logstash输出部分,index选项所设置的nginx-日期的索引名

file
file

这里green表示没问题,yellow表示接受到数据了,但没有做副本,read表示有问题,没接受到数据。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 配置elasticsearch
  • 配置kibana
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档