如何在CentOS 7上使用Packetbeat和ELK收集基础结构指标
如何在CentOS 7上使用Packetbeat和ELK收集基础结构指标
介绍
Packetbeat允许您监视应用级协议（如HTTP和MySQL）以及DNS和其他服务的实时网络流量。 要执行此操作，请在客户端计算机上配置代理，称为“发货人”，它嗅探和解析网络流量并将消息映射到事务。然后，这些发货人为每个操作生成记录，并将其发送到Elasticsearch或Logstash。获得数据后，您可以使用Kibana搜索，分析和可视化数据，以便您能够就基础设施做出明智的决策或排查问题。 在本教程中，您将配置并使用带有ELK堆栈的Packetbeat来收集和可视化基础架构指标。
实验要求
一个具有4GB内存的CentOS 7服务器，配置了如何在CentOS 7上安装Elasticsearch，Logstash和Kibana教程中描述的ELK堆栈设置。按照教程配置ELK堆栈并安装Kibana仪表板，但不要配置任何客户端机器。 一个CentOS 7服务器具有任何数量的RAM，将作为客户端机器。 每个服务器具有sudo权限的标准用户帐户。您可以通过使用CentOS7教程的初始服务器设置来设置标准帐户。
步骤1 - 在Elasticsearch中加载Packetbeat索引模板
计划使用Packetbeat将日志发送到Elasticsearch，我们首先加载Packetbeat索引模板，该模板将Elasticsearch配置为以智能方式分析传入的Packetbeat字段。
- 首先，登录到您的ELK服务器：
[root@prod-elk src]# cd /usr/local/src/
[root@prod-elk src]# curl -O https://raw.githubusercontent.com/elastic/beats/master/packetbeat/packetbeat.template-es2x.json
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 46323 100 46323 0 0 56622 0 --:--:-- --:--:-- --:--:-- 56698- 然后使用此命令加载模板：
curl -XPUT 'http://192.168.1.133:9200/_template/packetbeat' -d@packetbeat.template-es2x.json- 如果模板已成功加载，您将看到输出。
{"acknowledged":true}ELK服务器已准备好接受来自Packetbeat的数据，在客户端服务器上设置发货人(shipper )。
步骤2 - 在客户端服务器上设置Packetbeat
要设置Packetbeat发运器，您需要获取在必要教程中创建的SSL证书到客户端服务器。需要在客户端服务器和ELK服务器之间建立通信。 查找客户端服务器的IP地址。然后，在您的ELK服务器上，使用scp命令将SSL证书复制到客户端服务器：
scp /etc/pki/tls/certs/logstash-forwarder.crt 192.168.1.158:/usr/local/src/- 登录到客户端服务器
[root@prod-elk src]# ssh 192.168.1.158
root@192.168.1.158's password:
Last login: Wed Jan 11 17:02:30 2017 from 192.168.0.110登录后，将ELK服务器的SSL证书复制到/etc/pki/tls/certs目录中：
[root@linuxprobe ~]# sudo mkdir -p /etc/pki/tls/certs
[root@linuxprobe ~]# sudo cp /usr/local/src/logstash-forwarder.crt /etc/pki/tls/cert接下来，我们需要安装Packetbeat本身。在客户端服务器上，运行以下命令将Elasticsearch公用GPG密钥导入rpm：
sudo rpm --import http://packages.elastic.co/GPG-KEY-elasticsearch为Packetbeat创建和编辑新的存储库文件：
echo '[beats]
name=Elastic Beats Repository
baseurl=https://packages.elastic.co/beats/yum/el/$basearch
enabled=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
gpgcheck=1
' | sudo tee /etc/yum.repos.d/elastic-beats.repo- 安装Packetbeat软件包
yum makecache && yum install packetbeat -yPacketbeat现已安装，但需要配置才能使用。
步骤3 - 在客户端上配置Packetbeat
Packetbeat需要知道要记录什么以及发送数据的位置。让我们将其配置为连接到我们的ELK服务器上的Logstash，并定义我们想要观看的流量类型。我们将通过修改Packetbeat附带的默认配置文件来实现。
- 在客户端服务器上，编辑Packetbeat配置文件：
sudo vi /etc/packetbeat/packetbeat.yml在文件顶部附近，您将看到输入部分，您可以在其中指定应将哪些指标和统计信息发送到ELK服务器。我们将使用默认的输入设置，但随时更改它以适应您的需要。 选择从中捕获流量的网络接口。在Linux上，Packetbeat支持捕获由安装了Packetbeat的服务器发送或接收的所有消息。为此，使用任何作为设备：
egrep -v "#|^$" /etc/packetbeat/packetbeat.yml
interfaces:
device: any
protocols:
dns:
ports: [53]
include_authorities: true
include_additionals: true
http:
ports: [80, 8080, 8000, 5000, 8002]
memcache:
ports: [11211]
mysql:
ports: [3306]
pgsql:
ports: [5432]
redis:
ports: [6379]
thrift:
ports: [9090]
mongodb:
ports: [27017]
output:
elasticsearch:
hosts: ["192.168.1.133:9200"]
worker: 1
index: "packetbeat"
shipper:
name: prod-shipper
logging:
files:
path: /var/log/beat
name: beat
keepfiles: 7
level: info现在启动Packetbeat将您的更改放置到位： 注：原本计划把收集的日志通过logstash然后在传给elasticsearch，使用logstash认证时报错，就暂时直接把日志传输到elasticsearch。
步骤4 - 测试Packetbeat安装
此时，客户端服务器上的Packetbeat应将您的网络流量的日志发送到ELK服务器上的Logstash。 Logstash应该将Packetbeat数据加载到Elasticsearch中带有日期戳的索引packetbeat-YYYY。 MM。 DD。让我们通过在客户端机器上创建一个简单的HTTP请求并在ELK服务器上的Elasticsearch中寻找该请求来测试这个工作。
- curl http://www.elastic.co/ > /dev/null
- curl http://www.aniu.tv/ > /dev/null
然后，在您的ELK服务器上，通过使用此命令查询Packetbeat索引来验证Elasticsearch确实正在接收数据：
curl -XGET 'http://localhost:9200/packetbeat-*/_search?pretty'显示如下：
curl -XGET 'http://localhost:9200/packetbeat-*/_search?pretty'
{
"took" : 8,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"failed" : 0
},
"hits" : {
"total" : 90,
"max_score" : 1.0,
"hits" : [
{
"_index" : "packetbeat-2017.01.12",
"_type" : "dns",
"_id" : "AVmRubj_g1guHDTwPD6h",
"_score" : 1.0,
"_source" : {
"@timestamp" : "2017-01-12T08:10:01.993Z",
"beat" : {
"hostname" : "linuxprobe",
"name" : "prod-shipper"
},
"bytes_in" : 30,
"bytes_out" : 94,
"client_ip" : "192.168.1.158",
"client_port" : 58607,
"client_proc" : "",
"client_server" : "",
"count" : 1,
"direction" : "out",
"dns" : {
"additionals_count" : 0,
"answers" : [
{
"class" : "IN",
"data" : "173.255.215.209",
"name" : "pool.ntp.org",
"ttl" : 99,
"type" : "A"
},
{
"class" : "IN",
"data" : "5.79.108.34",
"name" : "pool.ntp.org",
"ttl" : 99,
"type" : "A"
},
{
"class" : "IN",
"data" : "61.216.153.106",
"name" : "pool.ntp.org",
"ttl" : 99,
"type" : "A"
},
{
"class" : "IN",
"data" : "138.68.2.126",
"name" : "pool.ntp.org",
"ttl" : 99,
"type" : "A"
}
],
"answers_count" : 4,
"authorities_count" : 0,
"flags" : {
"authoritative" : false,
"recursion_allowed" : true,
"recursion_desired" : true,
"truncated_response" : false
},
"id" : 26528,
"op_code" : "QUERY",
"question" : {
"class" : "IN",
"name" : "pool.ntp.org",
"type" : "A"
},
"response_code" : "NOERROR"
},
"ip" : "114.114.114.114",
"method" : "QUERY",
"port" : 53,
"proc" : "",
"query" : "class IN, type A, pool.ntp.org",
"resource" : "pool.ntp.org",
"responsetime" : 97,
"server" : "",
"status" : "OK",
"transport" : "udp",
"type" : "dns"
}
},一旦收到预期的输出，您可以继续下一步，并了解如何使用Kibana查看您的网络流量的一些图表和图表
第5步 - 用Kibana可视化数据
当您在要收集系统统计信息的所有服务器上完成Packetbeat设置后，让我们看看Kibana。 在Web浏览器中，转到您的ELK服务器的域名或公共IP地址。输入您的ELK服务器凭据后，您应该会看到您的Kibana Discover页面。
然后选择屏幕顶部的“发现”选项卡以查看此数据。您的屏幕上会显示以下内容：
从这里，您可以通过过滤可用字段查看您的各种Packetbeat条目。您可以单击这些字段来添加它们，或使用聚合（计数，总和，最小值，最大值，中值等）来可视化它们。 Kibana还提供了广泛的可视化，您可以用它来分析数据。单击屏幕顶部的“可视化”选项卡以列出可视化对象或打开已保存的可视化对象。 Kibana官方文档： https://www.elastic.co/guide/en/kibana/current/index.html