CentOS7.4下ELK6.2.4从零开始安装部署

公司原本已经做了日志收集，不过是收集于单台云服务器，还需要研发以及运维去登陆查看日志。以前用的都是低版本的ELK（2.X），这次准备体验试用下最新版本的。理论以及架构这些不再说明，网上很多请自行查看！

环境说明：CentOS7.4、jdk1.8等 下面是安装过程 首先是确认环境rpm -qa|grep Java 如果有其他版本的请删除 rpm–e --nodeps java-* 检查是否删除 java –version

# 开始安装jdk1.8自行从官网下载

解压改名设置环境变量

 vim /etc/profile在末行加入

export JAVA_HOME=/usr/local/jdk1.8

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib/dt.JAVA_HOME/lib/tools.jar:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:${PATH}

配置设置source /etc/profile

测试java -version

# 设置内核参数 vim /etc/sysctl.conf 增加以下参数 vm.max_map_count=655360 执行以下命令，确保生效配置生效： sysctl  -p 设置资源参数 vim /etc/security/limits.conf #修改 * soft nofile 65536 * hard nofile 131072 * soft nproc 65536 * hard nproc 131072 #设置elk用户参数 vim /etc/security/limits.d/20-nproc.conf elk        soft    nproc    65536 elk用户默认已经创建

ELK官网下载地址 https://www.elastic.co/cn/downloads 所有组件都在根据自己喜欢下 # elasticsearch-6.2.4（3台） 解压到/usr/local改名elasticsearch  chown -R elk.elk  elasticsearch/ 到解压目录下

vim config/elasticsearch.yml 同样是末行加入 #这里指定的是集群名称，需要修改为对应的，开启了自发现功能后，ES会按照此集群名称进行集群发现 cluster.name: elk123 #数据目录 path.data:  data/elk/data #log目录 path.logs:  data/elk/logs #节点名称（3台1-3） node.name: node-1 #修改一下ES的监听地址，这样别的机器也可以访问 network.host: 0.0.0.0 #默认的端口号以及访问 http.port: 9200 http.cors.enabled: true http.cors.allow-origin: "*" ##集群以及节点数 discovery.zen.ping.unicast.hosts: ["192.168.1.112", "192.168.1.113","192.168.1.114"] discovery.zen.minimum_master_nodes: 3

注意配置冒号后有空格，新建日志和数据目录给 mkdir -p /data/elk/log mkdir -p /data/elk/data

 chown -R elk.elk /data/  启动elasticsearch  su elk -c "/usr/local/elasticsearch/bin/elasticsearch -d "

 测试访问ip:9200

 es集群可视化（5.0以后ES不再提供内置） # elasticsearch-head安装 依赖安装 yum install git nodejs npm 检测 git clone git://github.com/mobz/elasticsearch-head.git node -v npm -v 到目录下 npm install -g cnpm --registry=https://registry.npm.taobao.org vim /usr/local/elasticsearch/config/elasticsearch.yml 末行加入 http.cors.enabled: true http.cors.allow-origin: "*" cd elasticsearch-head/ vim Gruntfile.js 在connect属性中，增加hostname: ‘0.0.0.0’       connect: {                         server: {                                 options: {                                         hostname: '0.0.0.0',                                         port: 9100,                                         base: '.',                                         keepalive: true

vi _site/app.js #编辑配置文件，填写elasticsearch server的地址 init: function(parent) {                         this._super();                         this.prefs = services.Preferences.instance();                         this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://es_ip:9200";                         if( this.base_uri.charAt( this.base_uri.length - 1 ) !== "/" ) {                                 // XHR request fails if the URL is not ending with a "/"                                 this.base_uri += "/";                         } #启动程序 cnpm install -g grunt 重启es 启动elasticsearch-head nohup grunt server & #访问web http://xxx:9100 

#  kibana-6.2.4(单台即可） 解压安装改名 cd  kibana/ vim config/kibana.yml #开启默认端口5601如果5601被占用可用5602或其他 server.port: 5601 server.host:  “hostname”  这里填你的主机名 #指向elasticsearch服务的ip地址 elasticsearch.url: http://localhost:9200 kibana.index: “.kibana” 启动 /usr/local/kibana/bin/kibana &

测试ip:5601

# logstash-6.2.4 这个要安装在你日志所在服务器上 解压安装改名到目录下 vim config/*-logst.conf新建一个配置文件名字自定

input{ file { path => "/usr/loca/*.log"  #你的日志路径 start_position => beginning ignore_older => 0 sincedb_path =>"/dev/null" }} filter{ grok { match => { "message" =>"%{IPORHOST:clientip} - %{USER:auth} \"(?:%{WORD:verb}%{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\"%{NUMBER:response} (?:%{NUMBER:bytes}|-)"} }date { match => [ "timestamp" ,"dd/MMM/YYYY:HH:mm:ss +0800" ] } } output{ elasticsearch {  hosts => ["ip:9200" ]  index => "logs-%{+YYYY.MM.dd}" } stdout {} } 该配置只是匹配单个项目如果多个请参考以下

input {     file {         path => "/var/log/messages"         type => "system"         start_position => "beginning"     }     file {         path => "/var/log/elasticsearch/chuck-clueser.log"         type => "es-error"         start_position => "beginning"         codec => multiline {             pattern => "^\["             negate => true             what => "previous"         }     } } output {     if [type] == "system" {         elasticsearch {             hosts => ["192.168.56.11:9200"]             index => "system-%{+YYYY.MM.dd}"         }     }     if [type] == "es-error" {         elasticsearch {             hosts => ["192.168.56.11:9200"]             index => "es-error-%{+YYYY.MM.dd}"         }     } } 然后启动 /usr/local/logstash/bin/logstash -f /usr/local/logstash/config/*-logst.conf 然后去kibana看下是否有数据！要先创建索引！ 此安装模式ELK的head和kibana基本等于无任何安全措施，建议基于nginx反向代理IP限制或者内网使用。