操作场景
正则表达式自动生成适用于日志文本中每行内容为一条原始日志,且每条日志可按正则表达式提取为多个 key-value 键值的日志解析模式。
配置单行-完全正则模式时,您需要先输入日志样例,再自定义正则表达式。配置完成后,系统将根据正则表达式中的捕获组提取对应的 key-value。
如下内容将为您详细介绍如何采集单行-完全正则模式日志。
前提条件
假设您的一条日志原始数据为:
2022-09-29 12:32:43.492 INFO [RepositoryConfigurationDelegate:127][main] - [TID: N/A] [TID: N/A] Bootstrapping Spring Data Elasticsearch repositories in DEFAULT mode.
配置的自定义正则表达式为:
(?<time>[0-9]{4}[-\\/:\\s\\.][0-9]{2}[-\\/:\\s\\.][0-9]{2}[-\\/:T\\s][0-9]{2}[-\\/:\\s\\.][0-9]{2}[-\\/:\\s\\.][0-9]{2}(?:[-\\/:\\s\\.][0-9]+)?(?:[zZ]|(?:[\\+-])(?:[01]\\d|2[0-3]):?(?:[0-5]\\d)?)?)\\s(?<log>\\w+\\s+\\[\\w+:\\w+\\]\\[\\w+\\]\\s+-\\s+\\[\\w+:\\s+\\w+/\\w+\\]\\s+\\[\\w+:\\s+\\w+/\\w+\\]\\s+\\w+\\s+\\w+\\s+\\w+\\s+\\w+\\s+\\w+\\s+\\w+\\s+\\w+\\s+\\w+\\.)
系统根据()捕获组提取对应的 key-value 后,您可以自定义每组的 key 名称如下所示:
{"time":"2022-09-29 12:32:43.492","log":"INFO [RepositoryConfigurationDelegate:127][main] - [TID: N/A] [TID: N/A] Bootstrapping Spring Data Elasticsearch repositories in DEFAULT mode."}
操作步骤
1. 在数据处理规则配置页面,在原始数据中输入日志样例,解析模式设置为正则提取,单击解析模式下的正则表达式自动生成。
![](https://qcloudimg.tencent-cloud.cn/image/document/a3d9b2dec8c35868e5d8c8064aace38f.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/a3d9b2dec8c35868e5d8c8064aace38f.png)
2. 在弹出的“正则表达式自动生成”模态视图中,根据实际的检索分析需求,选中需要提取 key-value 的日志内容,并在弹出的文本框中,输入键(key)名,单击确认提取。
![](https://qcloudimg.tencent-cloud.cn/image/document/0c6fd1fb4300346fc6a7772c512d45ec.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/0c6fd1fb4300346fc6a7772c512d45ec.png)
3. 系统将自动对该部分内容提取一个正则表达式,自动提取结果会出现在 key-value 表格中。
![](https://qcloudimg.tencent-cloud.cn/image/document/56d30a90619dadd448c7f7ba5f4d3bb3.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/56d30a90619dadd448c7f7ba5f4d3bb3.png)
4. 重复步骤2,直到提取完所有的 key-value 对。
![](https://qcloudimg.tencent-cloud.cn/image/document/1674c9af3b8e1f6becf3343a22f4aaf9.png)
5. 单击提交,系统将根据提取好的 key-value 对自动生成完整的正则表达式。
![](https://qcloudimg.tencent-cloud.cn/image/document/1b03e440ca4ed98798d2bcf1b33f2f1d.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/1b03e440ca4ed98798d2bcf1b33f2f1d.png)