首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >centos7 elk7.1.1安装与使用

centos7 elk7.1.1安装与使用

作者头像
郭耀华
发布2019-10-23 15:09:27
9570
发布2019-10-23 15:09:27
举报
文章被收录于专栏:郭耀华‘s Blog郭耀华‘s Blog

官方文档又全是英文,看起来很费劲。只能各种查其他的博客以及结合官方文档看了。

我的系统是centos7 首先将防火墙以及selinux关闭。

根据官方文档的说明先安装Elasticsearch

1.安装java环境

  1.1在/etc/profile下添加环境变量 我的环境标量如下:

    export JAVA_HOME=/home/jdk1.8.0_181

    export CLASSPATH=:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

  1.2让环境变量生效 source /etc/profile

2.安装Elasticsearch

  因为官方要求Elasticsearch 必须在非root账户下运行,所以需提前创建好账户。

  2.1 下载Elasticsearch 及md5检验码

    wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz #我的统一放在/home 目录下

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz.sha512 #官方下载的安装包一般都没问题,这个可以不用下载

    2.1.1 校验安装包完整性

shasum -a 512 -c elasticsearch-7.1.1-linux-x86_64.tar.gz.sha512 #提示没有改命令直接yum安装yum install perl-Digest-SHA

  2.2 更改文件目录所有者及启动前相关配置

    2.2.1 需要将/home/elasticsearch-7.1.1目录所有者改为非root用户 chown -R wangsu elasticsearch-7.1.1/

    2.2.2 修改/home/elasticsearch-7.1.1/config/elasticsearch.yml我的配置文件如下:

    2.2.3因为还没有data目录和logs目录(有的话不用管)需要手动创建。

    2.2.4在/etc/sysctl.conf下增加vm.max_map_count=655360 不然启动elasticsearch-7.1.1的时候会报错 这个值大于262144即可;/etc/security/limits.conf下添加如下

* soft      nofile        65536
* hard     nofile       131072
* soft      nproc       2048
* hard     nproc      4096
#注:星号需添加上

  2.3启动elasticsearch

到elasticsearch目录下执行./bin/elasticsearch启动后通过web登录界面端口号默认9200

3、安装head插件

 因为ES返回的json结构,就是上面我们看到的字符串。head插件就是提供了友好的web界面

  3.1head下载https://github.com/mobz/elasticsearch-head/archive/master.zip下载之后将其上传到elasticsearch同级目录下。

  3.2安装node.js

sudo curl -sL https://rpm.nodesource.com/setup_8.x | sudo bash -

    sudo yum install nodejs

修改配置文件,cd进入elasticsearch-head-master 文件夹下,执行命令sudo vim Gruntfile.js文件:增加hostname属性,设置为*。这里打开js文件后,完全看不懂应该怎么添加,于是问了下搞前端的同事。告知说加载到initConfig试试,如下所示(注意:true后面要添加个逗号):

    修改sudo vim _site/app.js 文件:修改head的连接地址:http://10.3.190.25:9200。这个app.js文件里面内容实在太多,我查找到一个http://localhost:9200,于是便将其改为自己的主机ip,大概在4360行的位置

  3.3、grunt server & 后台启动

    启动的时候提示未找到命令-----"bash: grunt: 未找到命令"。好的,通过提示找解决办法。sudo npm install -g grunt-cli安装成功后即可执行grunt server &

    能执行归能执行,可是执行的时候又报错了,信息如下,继续找解决办法。。

    sudo npm install grunt --save-dev执行该命令后继续报错

    后面的报错就没有贴出来了

    继续安装下面的包

    npm install node_modules

    npm install grunt-contrib-clean     npm install grunt-contrib-concat     npm install grunt-contrib-watch     npm install grunt-contrib-connect     npm install grunt-contrib-copy     npm install grunt-contrib-jasmine

    在浏览器端输入10.3.190.25:9100显示如下,即安装成功(截图是因为后来又装了kibana才显示有两个,本来是0 of 0)。

4、安装kibana

  4.1、下载安装包到/home目录及解压:wget https://artifacts.elastic.co/downloads/kibana/kibana-7.1.1-linux-x86_64.tar.gz

  4.2、修改kibana配置文件以及环境变量export KIBANA_HOME=/home/kibana-7.1.1-linux-x86_64,我的配置文件如下:

  4.3、启动kibana----./bin/kibana并在浏览器测试http://10.3.190.25:5601,安装成功后显示的页面如下:

5、安装logstash

  5.1、下载安装包sudo wget https://artifacts.elastic.co/downloads/logstash/logstash-7.1.1.tar.gz (速度太慢,我是用迅雷下载好后再上传的)

  5.2、启动logstashsudo ./bin/logstash

    5.2.1启动的时候一直报错java环境变量也没问题。找了一下午资料也没找到,后来被告知是要添加个软连接比如我的是ln -s /home/jdk-12.0.1/bin/java /bin/java

  5.3、在启动后在es head中查看显示黄色,查找资料后再kibana中设置,pskibana设置成中文界面:在配置文件中添加i18n.locale: "zh-CN",重启即可生效。

6、添加日志

  6.1 添加一个日志

    在logstash/conf目录下创建systemlog.conf文件,并写入以下内容。注:需要修改/var/log/messages权限,例如改为644。

input {
file {
  path => "/var/log/messages"
  type => "systemlog"
  start_position => "beginning"
  stat_interval => "2"
  }


}

output {
  elasticsearch {
   hosts => ["10.3.190.25:9200"]
   index => "logstash-systemlog-%{+YYYY.MM.dd}"

}


}

    用./logstash/bin/logstash -f ./logstash/config/systemlog.conf -t (-f 指定文件,-t测试)测试配置文件是否正常。正常按该文件启动,然后在kibana中添加索引既可以查看。

  6.2添加交换机巡检结果

    结合python对交换机的自动巡检,并将巡检内容添加到elk中,logstash配置如下。

input {
  file {
    path => "/home/wangsu/szns-kjy4f-acs-05.txt"
    type => "4f_05"
    start_position => "beginning"
    stat_interval => "2"
  }
  file {
    path => "/home/wangsu/szns-kjy4f-acs-06.txt"
    type => "4f_06"
    start_position => "beginning"
    stat_interval => "2"  
  }

}

output {
  if [type] == "4f_05"{
  elasticsearch {
   hosts => ["10.3.190.25:9200"]
   index => "szns-kjy4f-acs-05-%{+YYYY.MM.dd}"

  }}
  if [type] == "4f_06"{
  elasticsearch{
    hosts => ["10.3.190.25:9200"]
    index => "szns-kjy4f-acs-06-%{+YYYY.MM.dd}"
  }

  }


}
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2019-06-19 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service(ES)是云端全托管海量数据检索分析服务,拥有高性能自研内核,集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群,也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务,它独特的向量检索还可助您构建基于语义、图像的AI深度应用。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档