搭建ELFK日志采集系统
最近的工作涉及搭建一套日志采集系统，采用了业界成熟的ELFK方案，这里将搭建过程记录一下。
环境准备
操作系统信息
系统系统：centos7.2
三台服务器：10.211.55.11/12/13
安装包：
https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.rpm
https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-x86_64.rpm
https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.rpm
https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-x86_64.rpm
服务器规划
服务器host11 | 服务器host12 | 服务器host13 |
|---|---|---|
elasticsearch(master,data,client) | elasticsearch(master,data,client) | elasticsearch(master,data,client) |
kibana | ||
logstash | logstash | logstash |
filebeat | filebeat | filebeat |
整个ELFK的部署架构图大致如下图：
日志采集系统搭建
安装elasticsearch集群
照手把手教你搭建一个 Elasticsearch 集群文章所述，elasticsearch集群中节点有多种类型：
- 主节点：即 Master 节点。主节点的主要职责是和集群操作相关的内容，如创建或删除索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。稳定的主节点对集群的健康是非常重要的。默认情况下任何一个集群中的节点都有可能被选为主节点。索引数据和搜索查询等操作会占用大量的cpu，内存，io资源，为了确保一个集群的稳定，分离主节点和数据节点是一个比较好的选择。虽然主节点也可以协调节点，路由搜索和从客户端新增数据到数据节点，但最好不要使用这些专用的主节点。一个重要的原则是，尽可能做尽量少的工作。
- 数据节点：即 Data 节点。数据节点主要是存储索引数据的节点，主要对文档进行增删改查操作，聚合操作等。数据节点对 CPU、内存、IO 要求较高，在优化的时候需要监控数据节点的状态，当资源不够的时候，需要在集群中添加新的节点。
- 负载均衡节点：也称作 Client 节点，也称作客户端节点。当一个节点既不配置为主节点，也不配置为数据节点时，该节点只能处理路由请求，处理搜索，分发索引操作等，从本质上来说该客户节点表现为智能负载平衡器。独立的客户端节点在一个比较大的集群中是非常有用的，他协调主节点和数据节点，客户端节点加入集群可以得到集群的状态，根据集群的状态可以直接路由请求。
- 预处理节点：也称作 Ingest 节点，在索引数据之前可以先对数据做预处理操作，所有节点其实默认都是支持 Ingest 操作的，也可以专门将某个节点配置为 Ingest 节点。
以上就是节点几种类型，一个节点其实可以对应不同的类型，如一个节点可以同时成为主节点和数据节点和预处理节点，但如果一个节点既不是主节点也不是数据节点，那么它就是负载均衡节点。具体的类型可以通过具体的配置文件来设置。
我部署的环境服务器较少，只有三台，因此部署在每个节点上的elasticsearch实例只好扮演master、data、client三种角色了。
在三台服务器上均执行以下命令关闭selinux：
setenforce 0
sed -i -e 's/^SELINUX=.*$/SELINUX=disabled/g' /etc/selinux/config在三台服务器上均安装java：
yum install -y java在三台服务器上均安装elasticsearch的rpm包：
yum install -y https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.2.rpm在三台服务器上修改elasticsearch的配置文件：
cat << EOF > /etc/elasticsearch/elasticsearch.yml
cluster.name: DemoESCluster
# 注意不同节点的node.name要设置得不一样
node.name: demo-es-node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["10.211.55.11", "10.211.55.12", "10.211.55.13"]
discovery.zen.minimum_master_nodes: 2
gateway.recover_after_nodes: 2
EOF在三台服务器上启动elasticsearch:
systemctl daemon-reload
systemctl enable elasticsearch
systemctl start elasticsearch在任意服务器上检查集群中的节点列表：
yum install -y jq
curl --silent -XGET 'http://localhost:9200/_cluster/state?pretty'|jq '.nodes'在上述命令的输出里可以看到集群的相关信息，同时 nodes 字段里面包含了每个节点的详细信息，这样一个基本的elasticsearch集群就部署好了。
安装 Kibana
接下来我们需要安装一个 Kibana 来帮助可视化管理 Elasticsearch，在host12上安装kibana:
yum install -y https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-x86_64.rpm修改kibana的配置文件：
cat << EOF > /etc/kibana/kibana.yml
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.url: "http://localhost:9200"
EOF注意这里配置的elasticsearch.url为本机的es实例，这样其实还是存在单点故障的，官方建议在本机部署一个Elasticsearch 协调（Coordinating only node） 的节点，这里配置成协调节点的地址。
启动kibana:
systemctl daemon-reload
systemctl enable kibana
systemctl start kibana配置认证需要升级License，我这里是在内网使用，就不进行这个配置了。如果须要配置访问认证可参考这里。
另外还可以启用SSL，可参考这里进行配置。
为了避免单点故障，kibana可部署多个，然后由nginx作反向代理，实现对kibana服务的负载均衡访问。
安装logstash
在每台服务器上安装logstash:
yum install -y https://artifacts.elastic.co/downloads/logstash/logstash-6.3.2.rpm修改logstash的配置文件：
cat << EOF > /etc/logstash/logstash.yml
path.data: /var/lib/logstash
path.logs: /var/log/logstash
xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: ["http://10.211.55.11:9200", "http://10.211.55.12:9200", "http://10.211.55.13:9200"]
EOF
cat << EOF > /etc/logstash/conf.d/beat-elasticsearch.conf
input {
beats {
port => 5044
ssl => false
}
}
filter {
}
output {
elasticsearch {
hosts => ["10.211.55.11:9200","10.211.55.12:9200","10.211.55.13:9200"]
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
document_type => "%{[@metadata][type]}"
}
}
EOF为了从原始日志中解析出一些有意义的field字段，可以启用一些filter，可用的filter列表在这里。
启动logstash:
systemctl daemon-reload
systemctl enable logstash
systemctl start logstash安装filebeat
在每台服务器上安装filebeat:
yum install -y https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-x86_64.rpm修改每台服务器上的filebeat配置文件：
# 这里根据在采集的日志路径，编写合适的inputs规则
cat << EOF > /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/*.log
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
output.logstash:
hosts: ["10.211.55.11:5044", "10.211.55.12:5044", "10.211.55.13:5044"]
ssl.enabled: false
index: 'var_log'
EOFfilebeat配置文件选项比较多，完整的参考可查看这里。
在每台服务器上启动filebeat:
systemctl daemon-reload
systemctl enable filebeat
systemctl start filebeat其它安全设置
为保证数据安全，filebeat与logstash、filebeat与elasticsearch、logstash与elasticsearch、kibana与elasticsearch之间的通讯及kibana自身均能启用SSL加密，具体启用办法就是在配置文件中配一配SSL证书就可以了，这个比较简单，不再赘述。
kibana登录认证需要升级License，这一点比较不爽，如果考虑成本，还是在前置机nginx上配个HTTP Basic认证处理好了。
部署测试
至此一个较完整的ELFK日志采集系统就搭建好了，用浏览器访问http://10.211.55.12:5601/，在kibana的界面上简单设置下就可以查看到抓取的日志了：
总结
分布式日志采集，ELFK这一套比较成熟了，部署也很方便，不过部署起来还是稍显麻烦。好在还有自动化部署的ansible脚本：ansible-beats、ansible-elasticsearch、ansible-role-logstash、ansible-role-kibana，所以如果有经常部署这一套，还是拿这些ansible脚本组建自动化部署工具集吧。