如何在Ubuntu 14.04上安装Elasticsearch 1.7，Logstash 1.5和Kibana 4.1（ELK Stack）

注意：本教程适用于较旧版本的ELK堆栈，该版本与最新版本不兼容。

介绍

在本教程中，我们将在Ubuntu 14.04上重新安装Elasticsearch ELK Stack，即Elasticsearch 1.7.3，Logstash 1.5.4和Kibana 4.1.1。我们还将向您展示如何对其进行配置，以便在集中位置收集和可视化系统的系统日志。Logstash是一个用于收集，解析和存储日志以供将来使用的开源工具。Kibana是一个Web界面，可用于搜索和查看Logstash已编入索引的日志。这两个工具都基于Elasticsearch。

在尝试识别服务器或应用程序的问题时，集中日志记录非常有用，因为它允许您在一个位置搜索所有日志。它也很有用，因为它允许您通过在特定时间范围内关联其日志来识别跨多个服务器的问题。

可以使用Logstash收集所有类型的日志，但我们将本教程的范围限制为syslog收集。

目标

本教程的目标是设置Logstash以收集多个服务器的syslog，并设置Kibana以可视化收集的日志。

我们的Logstash / Kibana设置有四个主要组件：

• Logstash：Logstash的服务器组件，用于处理传入的日志
• Elasticsearch：存储所有日志
• Kibana：用于搜索和可视化日志的Web界面，将通过Nginx进行代理
• Logstash Forwarder：安装在将日志发送到Logstash的服务器上，Logstash Forwarder作为日志转发代理，利用伐木工人网络协议与Logstash通信

我们将在单个服务器上安装前三个组件，我们将其称为Logstash Server。Logstash Forwarder将安装在我们要收集日志的所有客户端服务器上，我们将统称为客户端服务器。

准备

一台已经设置好可以使用sudo命令的非root账号的Ubuntu服务器，并且已开启防火墙。没有服务器的同学可以在这里购买，不过我个人更推荐您使用免费的腾讯云开发者实验室进行试验，学会安装后再购买服务器。

Logstash Server所需的CPU，RAM和存储量取决于您要收集的日志量。对于本教程，我们将使用具有以下规范的VPS用于Logstash服务器：

• 操作系统：Ubuntu 14.04
• 内存：4GB
• CPU：2

除了Logstash服务器之外，您还需要一些其他服务器来收集日志。

让我们开始设置我们的Logstash服务器吧！

安装Java 8

Elasticsearch和Logstash需要Java，所以我们现在就安装它。我们将安装最新版本的Oracle Java 8，因为这是Elasticsearch推荐的。但是，如果您决定走这条路，它应该可以与OpenJDK一起使用。

将Oracle Java PPA添加到apt：

sudo add-apt-repository -y ppa:webupd8team/java

更新您的apt包数据库：

sudo apt-get update

使用此命令安装最新稳定版本的Oracle Java 8（并接受弹出的许可协议）：

sudo apt-get -y install oracle-java8-installer

现在已经安装了Java 8，让我们安装ElasticSearch。

安装Elasticsearch

通过添加Elastic的包源列表，可以将Elasticsearch与包管理器一起安装。

运行以下命令将Elasticsearch公共GPG密钥导入apt：

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

如果你的提示只是挂在那里，它可能正在等待你的用户密码（授权sudo命令）。如果是这种情况，请输入您的密码。

创建Elasticsearch源列表：

echo "deb http://packages.elastic.co/elasticsearch/1.7/debian stable main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-1.7.list

更新您的apt包数据库：

sudo apt-get update

使用以下命令安装Elasticsearch：

sudo apt-get -y install elasticsearch

Elasticsearch现已安装。让我们编辑配置：

sudo vi /etc/elasticsearch/elasticsearch.yml

您需要限制对Elasticsearch实例（端口9200）的外部访问，因此外人无法通过HTTP API读取您的数据或关闭您的Elasticsearch集群。找到指定的行network.host，取消注释，并将其值替换为“localhost”，使其如下所示：

network.host: localhost

保存并退出elasticsearch.yml。

现在启动Elasticsearch：

sudo service elasticsearch restart

然后运行以下命令以在启动时启动Elasticsearch：

sudo update-rc.d elasticsearch defaults 95 10

现在Elasticsearch已启动并运行，让我们安装Kibana。

安装Kibana

通过添加Elastic的包源列表，可以将Kibana与包管理器一起安装。

创建Kibana源列表：

echo 'deb http://packages.elastic.co/kibana/4.1/debian stable main' | sudo tee /etc/apt/sources.list.d/kibana.list

更新您的apt包数据库：

sudo apt-get update

使用此命令安装Kibana：

sudo apt-get -y install kibana

Kibana现已安装。

打开Kibana配置文件进行编辑：

sudo vi /opt/kibana/config/kibana.yml

在Kibana配置文件中，找到指定的行host，并用“localhost”替换IP地址（默认情况下为“0.0.0.0”）：

kibana.yml摘录（更新）

host: "localhost"

保存并退出。此设置使得Kibana只能被本地主机访问。这很好，因为我们将在同一台服务器上安装一个Nginx反向代理，以允许外部访问。

现在启用Kibana服务，然后启动它：

sudo update-rc.d kibana defaults 96 9
sudo service kibana start

在我们使用Kibana Web界面之前，我们必须设置反向代理。我们现在就用Nginx来做。

安装Nginx

因为我们将Kibana配置为侦听localhost，所以我们必须设置反向代理以允许外部访问它。我们将使用Nginx来实现此目的。

注意：如果您已经有一个想要使用的Nginx实例，请随意使用它。只需确保配置Kibana，以便Nginx服务器可以访问它（您可能希望将host值更改为/opt/kibana/config/kibana.ymlKibana服务器的私有IP地址或主机名）。此外，建议您启用SSL / TLS。

使用apt安装Nginx和Apache2-utils：

sudo apt-get install nginx apache2-utils

使用htpasswd创建一个名为“kibanaadmin”的管理员用户（您应该使用其他名称），该用户可以访问Kibana Web界面：

sudo htpasswd -c /etc/nginx/htpasswd.users kibanaadmin

在提示符下输入密码。记住此登录信息，因为您需要它来访问Kibana Web界面。

现在，在您喜欢的编辑器中打开Nginx默认服务器块。我们将使用vi：

sudo vi /etc/nginx/sites-available/default

删除文件的内容，并将以下代码块粘贴到文件中。请务必更新server_name以匹配您的服务器名称：

server {
    listen 80;
​
    server_name example.com;
​
    auth_basic "Restricted Access";
    auth_basic_user_file /etc/nginx/htpasswd.users;
​
    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;        
    }
}

保存并退出。这会将Nginx配置为将服务器的HTTP流量定向到正在侦听localhost:5601的Kibana应用程序。此外，Nginx将使用htpasswd.users我们之前创建的文件，并需要基本身份验证。

现在重新启动Nginx以使我们的更改生效：

sudo service nginx restart

现在可以通过您的FQDN或Logstash服务器的公共IP地址访问Kibana，即http：// logstash \ _server \ _public \ _ip /。如果您在Web浏览器中访问，在输入“kibanaadmin”凭据后，您应该会看到一个Kibana欢迎页面，该页面将要求您配置索引模式。在我们安装所有其他组件之后，让我们回过头来看看。

安装Logstash

Logstash包可以从与Elasticsearch相同的存储库中获得，我们已经安装了该公钥，所以让我们创建Logstash源列表：

echo 'deb http://packages.elasticsearch.org/logstash/1.5/debian stable main' | sudo tee /etc/apt/sources.list.d/logstash.list

更新您的apt包数据库：

sudo apt-get update

使用以下命令安装Logstash：

sudo apt-get install logstash

已安装Logstash但尚未配置。

生成SSL证书

由于我们将使用Logstash Forwarder将日志从我们的服务器发送到Logstash服务器，因此我们需要创建SSL证书和密钥对。Logstash Forwarder使用该证书来验证Logstash Server的身份。使用以下命令创建将存储证书和私钥的目录：

sudo mkdir -p /etc/pki/tls/certs
sudo mkdir /etc/pki/tls/private

现在，您有两种生成SSL证书的选项。如果您具有允许客户端服务器解析Logstash服务器的IP地址的DNS设置，请使用选项2。否则，选项1将允许您使用IP地址。

选项1：IP地址

如果您没有DNS设置 - 允许您的服务器，您将从中收集日志以解析Logstash服务器的IP地址 - 您必须将Logstash服务器的专用IP地址添加到subjectAltName（SAN）字段我们即将生成的SSL证书。为此，请打开OpenSSL配置文件：

sudo vi /etc/ssl/openssl.cnf

找到[ v3_ca ]文件中的部分，并在其下添加此行（替换为Logstash Server的专用IP地址）：

subjectAltName = IP: logstash_server_private_ip

保存并退出。

现在使用以下命令在适当的位置（/ etc / pki / tls /）生成SSL证书和私钥：

cd /etc/pki/tls
sudo openssl req -config /etc/ssl/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

该logstash-forwarder.crt文件将被复制到所有将日志发送到Logstash服务器，但我们会做到这一点稍晚。让我们完成Logstash配置。如果您使用此选项，请跳过选项2并继续配置Logstash。

选项2：FQDN（DNS）

如果您使用专用网络进行DNS设置，则应创建包含Logstash Server的专用IP地址的A记录 - 该域名将在下一个命令中使用，以生成SSL证书。或者，您可以使用指向服务器的公共IP地址的记录。只需确保您的服务器（您将从中收集日志的服务器）能够将域名解析为Logstash服务器。

现在使用以下命令（在Logstash服务器的FQDN中替换）在适当的位置（/ etc / pki / tls / ...）生成SSL证书和私钥：

cd /etc/pki/tls; sudo openssl req -subj '/CN=logstash_server_fqdn/' -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt

该logstash-forwarder.crt文件将被复制到所有将日志发送到Logstash服务器，但我们会做到这一点稍晚。让我们完成Logstash配置。

配置Logstash

Logstash配置文件采用JSON格式，驻留在/etc/logstash/conf.d中。配置由三部分组成：输入，过滤器和输出。

让我们创建一个名为01-lumberjack-input.conf的配置文件并设置我们的“lumberjack”输入（Logstash Forwarder使用的协议）：

sudo vi /etc/logstash/conf.d/01-lumberjack-input.conf

插入以下输入配置：

input {
  lumberjack {
    port => 5043
    type => "logs"
    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}

保存并退出。这指定了lumberjack将在tcp端口上侦听的输入，它将5043使用我们之前创建的SSL证书和私钥。

现在让我们创建一个名为的配置文件10-syslog.conf，我们将为syslog消息添加一个过滤器：

sudo vi /etc/logstash/conf.d/10-syslog.conf

插入以下syslog 过滤器配置：

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    syslog_pri { }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
}

保存并退出。此过滤器查找标记为“syslog”类型的日志（由Logstash转发器），并且它将尝试使用“grok”来解析传入的syslog日志，以使其具有结构化和可查询性。

最后，我们将创建一个名为30-lumberjack-output.conf的配置文件：

sudo vi /etc/logstash/conf.d/30-lumberjack-output.conf

插入以下输出配置：

 output {
   elasticsearch { host => localhost }
   stdout { codec => rubydebug }
 }

保存并退出。此输出基本上配置Logstash以将日志存储在Elasticsearch中。

使用此配置，Logstash还将接受与过滤器不匹配的日志，但不会构建数据（例如，未过滤的Nginx或Apache日志将显示为平面消息，而不是按HTTP响应代码，源IP地址，服务文件对消息进行分类等）。

如果要为使用Logstash Forwarder输入的其他应用程序添加过滤器，请确保命名文件，以便它们在输入和输出配置之间进行排序（即在01-和30-之间）。

重新启动Logstash以使我们的配置更改生效：

sudo service logstash restart

现在我们的Logstash服务器已准备就绪，让我们继续设置Logstash Forwarder。

设置Logstash转发器（添加客户端服务器）

为要将日志发送到Logstash Server的每个Ubuntu或Debian服务器执行这些步骤。

复制SSL证书和Logstash转发器包

在Logstash Server上，将SSL证书复制到客户端服务器（替换客户端服务器的地址和您自己的登录名）：

scp /etc/pki/tls/certs/logstash-forwarder.crt user@client_server_private_address:/tmp

提供登录凭据后，请确保证书副本成功。它是客户端服务器和Logstash服务器之间通信所必需的。

安装Logstash转发器包

在客户端服务器上，创建Logstash转发器源列表：

echo 'deb http://packages.elastic.co/logstashforwarder/debian stable main' | sudo tee /etc/apt/sources.list.d/logstashforwarder.list

它还使用与Elasticsearch相同的GPG密钥，可以使用以下命令安装：

wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

然后安装Logstash Forwarder包：

sudo apt-get update
sudo apt-get install logstash-forwarder

注意：如果您使用的是32位版本的Ubuntu，并且收到“无法找到软件包logstash-forwarder”错误，则需要手动安装Logstash Forwarder。

现在将Logstash服务器的SSL证书复制到适当的位置（/ etc / pki / tls / certs）：

sudo mkdir -p /etc/pki/tls/certs
sudo cp /tmp/logstash-forwarder.crt /etc/pki/tls/certs/

配置Logstash转发器

在客户端服务器上，创建和编辑Logstash Forwarder配置文件，该文件采用JSON格式：

sudo vi /etc/logstash-forwarder.conf

在该network部分下，将以下行添加到文件中，在您的Logstash Server的私有地址中替换logstash_server_private_address：

    "servers": [ "logstash_server_private_address:5043" ],
    "ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt",
    "timeout": 15

在该files部分（方括号之间），添加以下行，

    {
      "paths": [
        "/var/log/syslog",
        "/var/log/auth.log"
       ],
      "fields": { "type": "syslog" }
    }

保存并退出。这会将Logstash Forwarder配置为在端口5043（我们之前为其指定输入的端口）上连接到Logstash Server，并使用我们之前创建的SSL证书。该路径部分指定哪些日志文件发送（这里我们指定syslog和auth.log），和类型节指定这些日志型“系统日志*（这是我们的过滤器正在寻找的类型）。

请注意，您可以在此处添加更多文件/类型，以将Logstash Forwarder配置为其他日志文件到端口5043上的Logstash。

现在重新启动Logstash Forwarder以将我们的更改放到位：

sudo service logstash-forwarder restart

现在Logstash Forwarder正在向您的Logstash服务器发送syslog和auth.log！对要为其收集日志的所有其他服务器重复此部分。

连接Kibana

当您在要收集日志的所有服务器上完成Logstash Forwarder的设置后，让我们看一下我们之前安装的Web界面Kibana。

在Web浏览器中，转到Logstash Server的FQDN或公共IP地址。输入“kibanaadmin”凭据后，您应该会看到一个提示您配置索引模式的页面：

继续从下拉菜单中选择@timestamp，然后单击“ 创建”按钮以创建第一个索引。

现在单击顶部导航栏中的Discover链接。默认情况下，这将显示过去15分钟内的所有日志数据。您应该看到带有日志事件的直方图，其中包含以下日志消息：

现在，因为您只从客户端服务器收集系统日志，因此不会有太多内容。在这里，您可以搜索和浏览日志。您还可以自定义仪表板。

请尝试以下方法：

• 搜索“root”以查看是否有人尝试以root身份登录您的服务器
• 搜索特定主机名（搜索host: "hostname"）
• 通过选择直方图上的区域或上面的菜单来更改时间范围
• 单击直方图下方的消息以查看数据的过滤方式

Kibana还有许多其他功能，例如图形和过滤功能，所以请随意逛逛！

结论

既然您的系统日志是通过Elasticsearch和Logstash集中进行的，并且您可以使用Kibana将它们可视化，那么您应该集中精力处理所有重要日志。请记住，您可以向Logstash发送几乎任何类型的日志，但如果使用grok解析和构建数据，则数据会变得更加有用。

要改进新的ELK堆栈，您应该研究使用Logstash收集和过滤其他日志，以及创建Kibana仪表板。

更多Ubuntu教程请前往腾讯云+社区学习更多知识。

参考文献：《How To Install Elasticsearch 1.7, Logstash 1.5, and Kibana 4.1 (ELK Stack) on Ubuntu 14.04》