在Linux系统发行版（以CentOS7为例）上部署ElasticSearch集群并启动Kibana和Logstash

# 节点1
# ---------------------------------- Cluster -----------------------------------
# 集群名字，每个集群内的节点应该保持一致
cluster.name: magicloud-cluster
# ------------------------------------ Node ------------------------------------
# 节点名称
node.name: es-node1
# 是否可以被选举为主节点
node.master: true
# 是否为数据节点（存储空间足够的情况下，我个人建议把每个节点都设定成可存储数据的节点，这样会最大限度保证数据分片不会丢失）
node.data: true
# ----------------------------------- Paths ------------------------------------
# 数据和日志存放地址，根据官方建议，在生产环境下，这里把数据放到了$ES_HOME之外的位置。
# https://www.elastic.co/guide/en/elasticsearch/reference/7.14/important-settings.html
path.data: /usr/local/elasticsearch/data
path.logs: /usr/local/elasticsearch/logs
# ---------------------------------- Network -----------------------------------
# 网络配置，默认是127.0.0.1的回环地址，修改成要暴露的ip或者直接0.0.0.0
network.host: 0.0.0.0
# 端口，默认9200，个人不建议修改，不为别的，主要是其他开发或者运维人员一看到9200就知道es在跑着，辨识度较高
http.port: 9200
# --------------------------------- Discovery ----------------------------------
# 集群发现，发现集群内的其他节点，把集群内的节点地址写在这里，官方说也可以写节点名字，但我试了名字不好使，没细研究~~
discovery.seed_hosts: ["10.185.1.176:9300", "10.185.1.178:9300", "10.185.1.75:9301"]
# 初始的主节点，也可以不设置
cluster.initial_master_nodes: ["es-node1"]
# ---------------------------------- Various -----------------------------------
# 为了防止误删除，禁止使用通配符或_all删除索引
action.destructive_requires_name: true
# 节点的通信地址，也就是discovery里配置的节点ip和port，建议host就是本机ip，port就是9300，也是辨识度较高
transport.host: 10.185.1.178
transport.tcp.port: 9300

#节点2和其他节点
# ---------------------------------- Cluster -----------------------------------
cluster.name: magicloud-cluster
# ------------------------------------ Node ------------------------------------
node.name: es-node2
node.master: true
node.data: true
# ----------------------------------- Paths ------------------------------------
path.data: /usr/local/elasticsearch/data
path.logs: /usr/local/elasticsearch/logs
# ---------------------------------- Network -----------------------------------
network.host: 0.0.0.0
http.port: 9200
# --------------------------------- Discovery ----------------------------------
discovery.seed_hosts: ["10.185.1.176:9300", "10.185.1.178:9300", "10.185.1.75:9301"]
# ---------------------------------- Various -----------------------------------
action.destructive_requires_name: true
transport.host: 10.185.1.178
transport.tcp.port: 9300

* soft nofile 65535* hard nofile 65535

groupadd elsearch #1.添加新的管理组
useradd -m -g elsearch elsearch- #2.添加新管理组下的用户
passwd elsearch #3.回车后输入密码
chown -R elsearch:elsearch /opt/es/elasticsearch7.14.1/ #4.给elsearch用户授予es根目录的管理权限
chown -R elsearch:elsearch /usr/local/elasticsearch/data/ #5.给elsearch用户授予es的存储数据目录的管理权限
chown -R elsearch:elsearch /usr/local/elasticsearch/logs/ #6.给elsearch用户授予es的存储日志目录的管理权限

su elsearch #1.切换到elsearch用户bin/elsticsearch -d #2.后台启动es

server.port: 5601 #端口号，建议保持5601的默认配置，依旧是为了高辨识度
server.host: "10.185.1.178" #要暴露的ip地址
server.publicBaseUrl: "http://10.185.1.178:5601" #默认访问地址，如果挂了域名指向，这里可以写域名地址
elasticsearch.hosts: ["http://10.185.1.178:9200"] #es集群地址，我这暂时就写了一个
i18n.locale: "zh-CN" #kibana的默认语言配置，默认是英文，我这里改成了中文，英文好的同学可以忽略

su root #1.如果当前不是root用户，就先切回到root用户，区分标志就是看命令输入行是$符号还是#符号，#就是root
chown -R elsearch:elsearch /opt/es/kibana/ #2.给elsearch用户授权管理kibana目录
su elsearch #3.切换用户
nohup /opt/es/kibana/bin/kibana & #4.后台启动kibana

input {
  redis {
        codec => plain
        host => "10.185.1.176"
        port => 6379
        password => "不给看，按需配置"
        data_type => list
        key => "eslog"
        db => 7
  }
}

filter {
	# grok是logstash自带的数据解析插件，我这里用的是正则匹配，注意这里配置好的格式，要和代码里传输日志内容的格式一致
  grok {
  
                match=>{"message"=>"%{DATA:system} %{DATA:level} %{DATA:time} %{DATA:user} %{DATA:method} %{DATA:path} \"%{DATA:param}\" %{DATA:ip} %{DATA:webbrower} \"%{DATA:remark}\"" } 
                remove_field => ["message"]
                }
  geoip {
        source => "ip" #启用自带的geoip插件，定位ip地址，按需启用，不用就去掉
    }
}

output {
  elasticsearch {
    hosts => ["http://10.185.1.176:9200"]
    index => "cloudlog-%{+YYYY.MM.dd}"   
  }
}