社区首页 >专栏 >Elasticsearch：Elasticsearch 中的慢日志

Elasticsearch：Elasticsearch 中的慢日志

腾讯云大数据

修改于 2021-01-08 08:11:21

5.3K00

代码可运行

文章被收录于专栏：腾讯云Elasticsearch Service腾讯云Elasticsearch Service

运行总次数：0

代码可运行

【腾讯云 Elasticsearch Service】高可用，可伸缩，云端全托管。集成X-Pack高级特性，适用日志分析/企业搜索/BI分析等场景

Shard 级慢速搜索日志允许将慢速搜索（查询和获取阶段）记录到专用日志文件中。日志记录是任何应用程序不可缺的一部分。对于像 Elasticsearch 这样的分布式解决方案，它必须处理大量的请求，因此日志记录不可避免，其重要性至关重要。

顾名思义，慢速日志用于记录慢速请求，无论是搜索请求还是索引请求。我们可以设置“慢”阈值，以便仅记录那些高于该阈值的请求。

对于 Elasticsearch，慢速日志很重要，主要是因为：

它们有助于确定应该与 Elasticsearch 通信的应用程序是否正在这样做。
我们可以检查影响 Elasticsearch 的查询并进行验证。
日志记录可以提供有关索引/群集运行状况的重要信息，从而有助于维护群集。

现在，根据您的理论，让我们介绍可用的慢速日志的主要类型及其用例。

慢日志分类

Elasticsearch 中的慢日志主要有两种：搜索慢日志（search slow logs）和索引慢日志（index slow logs）。让我们讨论一下。

Search Slow Logs

搜索慢速日志用于记录慢速搜索。慢度阈值取决于应用程序及其 Elasticsearch 实现细节。每个应用程序可以具有不同的阈值。

在 Elasticsearch 中进行搜索分为两个阶段：

查询阶段-在查询阶段，Elasticsearch 收集相关结果的文档 ID。完成此阶段后，仅返回与搜索匹配的文档的 ID，并且不会再出现其他信息，例如字段或它们的值等。
获取阶段-在获取阶段，使用来自查询阶段的文档 ID 来获取实际文档，由此可以说搜索请求是完整的。

搜索慢速日志显示查询和查询的获取阶段的拆分时间。因此，我们能够完整地了解完成查询和获取阶段所花费的时间，并且能够检查整个查询本身。

Index Slow Logs

索引慢日志用于记录索引过程。在 Elasticsearch 中对文档建立索引后，慢速索引日志会记录请求的记录，这些记录需要花费较长的时间才能完成。同样，在这里，时间窗口也可以在索引日志的配置设置中进行调整。

默认情况下，启用后，Elasticsearch 将文档的前1000行记录到日志文件中。可以将其更改为 null 或记录整个文档，具体取决于我们如何配置设置。

在下一部分中，让我们看看如何配置日志并检查上面讨论的两种慢速日志类型。

索引慢速日志记录设置

首先，创建要为其配置索引慢日志的测试索引。

PUT testindex-slowlogs

现在为索引 “testindex-slowlogs” 配置慢日志，如下所示：

PUT testindex-slowlogs/_settings{  "index.indexing.slowlog.threshold.index.warn": "10s",  "index.indexing.slowlog.threshold.index.info": "5s",  "index.indexing.slowlog.threshold.index.debug": "2s",  "index.indexing.slowlog.threshold.index.trace": "500ms",  "index.indexing.slowlog.level": "info",  "index.indexing.slowlog.source": "1000"}

我们可以通过 _settings 来更新这些配置。默认情况下，均未启用（设置为-1）。级别（warn，info，debug, trace）允许控制将在哪个日志记录级别下记录日志。并非所有要求都进行配置（例如，只能设置warn阈值）。几个级别的好处是能够针对违反的特定阈值快速 “grep”。默认情况下，Elasticsearch 将在慢速日志中记录 _source 的前1000个字符。你可以使用 index.indexing.slowlog.source 进行更改。将其设置为 false 或 0 将完全跳过对源的日志记录，将其设置为 true 将不考虑大小而记录整个源。默认情况下，原始 _source 会重新格式化，以确保它适合单个日志行。如果保留原始文档格式很重要，则可以通过将index.indexing.slowlog.reformat 设置为 false 来关闭重新格式化，这将导致源按“原样”记录，并可能跨越多个日志行。

为了便于测试，我们把上面的阈值都设置为0和默认值，我们使用 _settings 来修个我们的配置：

PUT testindex-slowlogs/_settings{  "index.indexing.slowlog.threshold.index.warn": "0ms",  "index.indexing.slowlog.threshold.index.info": "0ms",  "index.indexing.slowlog.threshold.index.debug": "0ms",  "index.indexing.slowlog.threshold.index.trace": "0ms",  "index.indexing.slowlog.level": "trace",  "index.indexing.slowlog.source": "1000"}

这样如果其中的任何一个阈值是大于0的话，那么就会产生 index slow log。我们在 Kibana 中输入如下的一个文档：

POST testindex-slowlogs/_doc{  "price": 9925,  "name": "Nariko"}

我们可以找到在 Elasticsearch logs 目录下的文件 elasticsearch_index_indexing_slowlog.log：

我们打开这个 elasticsearch_index_indexing_slowlog.log 的内容，我们可以看到：

在这里我们可以看到所有的索引慢速日志的记录。因为我们所设置的阈值为0，所以任何一个操作都会触发相应的索引慢日志操作。在实际的应用中，可以根据自己的实际要求分别进行阈值的设置。

这些日志提供以下信息：

time stamp
log level
type of log
node name
index name
time taken in micro/milli seconds
index type
document id
"_source" field

使用此信息，我们可以了解索引操作的过程，并可以检测/调试任何异常（如果存在）。

Search Slow Logging

与慢索引日志相似，搜索慢日志将应用于特定索引。记录所有搜索请求的示例配置如下：

PUT testindex-slowlogs/_settings{  "index.search.slowlog.threshold.query.warn": "0ms",  "index.search.slowlog.threshold.query.info": "0ms",  "index.search.slowlog.threshold.query.debug": "0ms",  "index.search.slowlog.threshold.query.trace": "0ms",  "index.search.slowlog.threshold.fetch.warn": "0ms",  "index.search.slowlog.threshold.fetch.info": "0ms",  "index.search.slowlog.threshold.fetch.debug": "0ms",  "index.search.slowlog.threshold.fetch.trace": "0ms",  "index.search.slowlog.level": "info"}

由于上述设置的所有参数值均为0ms，因此将记录所有搜索请求。日志文件位于日志目录下，名称为：“elasticsearch_index_search_slowlog.log”

对索引运行以下查询：

GET testindex-slowlogs/_search{  "query": {    "match": {      "name": "Nariko"    }  },  "sort": [    {      "price": {        "order": "desc"      }    }  ]}

成功执行此查询后，打开上述搜索慢日志文件。您会发现看起来像这样的日志：

我们可以查看文件 elasticsearch_index_search_slowlog.log。由于我们所设置的日志里的阈值都为0，所以每一个搜索都会生产相应的日志记录。在实际的使用中，我们可以根据自己的情况设置相应的阈值。查看 elasticsearch_index_search_slowlog.log 文件：