腾讯云数据仓库 TCHouse-D
有奖捉虫：办公协同&微信生态&物联网文档专题 HOT
文档中心 > 腾讯云数据仓库 TCHouse-D > 操作指南 > 日志分析

日志分析

最近更新时间：2024-02-06 10:20:21

我的收藏

本页目录：

腾讯云数据仓库 TCHouse-D 支持日志采集，您可以按需针对集群开启日志服务。日志服务支持 ES 和 CLS 两种方式，
说明
ES 服务当前仅支持北京、上海、广州地区，费用说明详见 ES 计费概览。
CLS 服务为后付费形式，请保证费用充足以免影响您的日志上传和展示，费用说明详见 日志服务计费概述。

开启日志服务

您可以在新建集群或集群运行中随时开启日志服务，以下将对相关操作详细说明。

新建集群开启

集群创建时，支持按需开启日志服务。若您选用 ES 日志服务（当前支持北京、上海、广州地区），需选择项目空间以便管理，若此前未创建过可点击 新建项目空间 快速创建 。日志分析功能由腾讯云 ES Serverless 服务提供，详情参见 ES Serverless 服务概述。



若您选用 CLS 日志服务，需选择或创建与集群处于相同地域的 CLS 日志集。CLS 日志默认保存时间为 30 天。
说明
我们会在您配置的日志集中创建新的日志主题，您可以通过 CLS 日志服务页面查看您的日志主题，已配置的日志主题切勿删除，否则将会导致日志检索页查询失败。




已有集群开启或修改

若您在集群创建时未开启日志服务，可随时登录 腾讯云数据仓库 TCHouse-D 控制台，通过集群列表的操作 > 更多 > 新建日志服务配置日志服务。对于未授权用户，需要授权后，再配置日志集。




日志检索

开通日志服务后，您可以在控制台便捷检索日志，辅助开展运维工作。

操作说明

1. 登录 腾讯云数据仓库 TCHouse-D 控制台，在集群列表中单击集群 ID/名称进入集群详情页，切换到日志检索页。
2. 支持节点日志和搜索两种页面模式。在节点日志模式下，您可根据节点 IP 和日志类型查看日志，并通过指定时间范围、关键词搜索等功能进行日志分析。

3. 在搜索模式下，您可以便捷地设置搜索关键词，在选定时间范围内检索日志，筛选结果按照节点 IP 进行分组。关键词语法与规则详见 关键词语法规则，查询结果默认展示各个节点最近100条记录。


如何正确阅读 FE/BE 日志?

很多情况下需要通过日志来排查问题,此处对 FE/BE 日志的格式和查看方式进行说明。

FE 日志

FE 日志主要包含：
fe.log：主日志。包括除fe.out外的所有内容。
fe.warn.log：主日志的子集，仅记录 WARN 和 ERROR 级别的日志。
一条典型的 FE 日志示例如下：
2021-09-16 23:13:22,502 INFO (tablet scheduler|43) [BeLoadRebalancer.selectAlternativeTabletsForCluster():85] cluster is balance: default_cluster with medium: HDD. skip
其中：
2021-09-16 23:13:22,502：日志时间。
INFO：日志级别，默认是INFO。
(tablet scheduler|43)：线程名称和线程 id。通过线程 id，就可以查看这个线程上下文信息，方面排查这个线程发生的事情。
BeLoadRebalancer.selectAlternativeTabletsForCluster():85：类名、方法名和代码行号。
cluster is balance xxx：日志内容。

BE 日志

BE 日志主要包含：
be.INFO：主日志。这其实是个软连，连接到最新的一个 be.INFO.xxxx上。
be.WARNING：主日志的子集，仅记录 WARN 和 FATAL 级别的日志。这其实是个软连，连接到最新的一个 be.WARN.xxxx上。
一条典型的 BE 日志示例如下：
I0916 23:21:22.038795 28087 task_worker_pool.cpp:1594] finish report TASK. master host: 10.10.10.10, port: 9222
I0916 23:21:22.038795：日志等级和日期时间。大写字母 I 表示 INFO，W 表示 WARN，F 表示 FATAL。
28087：线程 id。通过线程 id，就可以查看这个线程上下文信息，方面排查这个线程发生的事情。
task_worker_pool.cpp:1594：代码文件和行号。
finish report TASK xxx：日志内容。
中国站