【日志服务CLS】全新Grafana数据源，一键安装，功能升级

作者：erikding

导语：日志服务CLS（Cloud Log Service）是腾讯云提供的一站式日志数据解决平台，提供了从日志采集、日志存储到日志检索，图表分析、监控告警、日志投递等多项服务，协助用户通过日志来解决业务运维、服务监控、日志审计等场景问题。

关于 Grafana

Grafana是一个开源的可视化工具，同时也是一个时序性统计和分析监控平台，提供了多种数据源的对接，拥有丰富的图表和美观的布局展示，功能齐全的仪表盘和图形编辑器。

没有可用的Grafana实例？可自行安装或参考其他集成方案

Grafana的下载与安装

云监控Prometheus服务Grafana实例

安装日志服务数据源

• 旧版本的日志服务数据源，没有经过 Grafana官方签名 验证，安装过程需要下载、解压缩、修改Grafana配置文件等流程，安装整体流程较为复杂。
• 新版日志服务插件，选择借助云监控和Grafana Lab的应用程序插件合作，将日志服务查询功能和云监控指标监控融为一体，安装流程更加便捷，插件功能更加丰富。

这里对安装并开启日志服务功能的全流程进行介绍。

1. 使用命令行安装插件并重启Grafana实例

grafana-cli plugins install tencentcloud-monitor-app


# 如果遇到 storage.googleapis.com 访问不通的问题，可使用以下命令替代
grafana-cli --pluginUrl https://github.com/TencentCloud/tencentcloud-monitor-grafana-app/releases/download/2.6.1/tencentcloud-monitor-app-2.6.1.zip plugins install tencentcloud-monitor-app


# 如果遇到插件安装后重启仍然找不到插件，可能是grafana的安装目录配置有点问题
# 可以进入Grafana插件目录，然后执行以下命令，详情可查看 grafana-cli -h
grafana-cli --pluginsDir ./   plugins install tencentcloud-monitor-app

2. 登录Grafana，在设置页面启用Grafana插件

3. 添加日志服务数据源插件

填写数据源名称，腾讯云访问秘钥，勾选日志服务，点击底部保存按钮。

4. 进入Explorer页面，进行日志搜索与分析

插件的新功能

插件新增 日志服务 数据源，旧版本数据源 后续将不再维护。

• 数据源设置页面新增日志服务数据源开关，支持与云监控数据源同时使用；
• 日志服务支持同时查询不同日志主题ID的数据内容；
• 日志检索分析：
  • 检索：用户可通过输入 lucene 语句，查询符合条件的日志内容。相关检索语法与样例见文档 日志检索 。
  • 分析：使用日志服务提供的 SQL 统计能力，可将采集的日志进行数据分析并以图表的形式展示分析结果。相关分析语法与样例见文档 日志分析 。
  • 分析场景无需输入字段维度，根据查询结果的数据类型进行自动推断。

日志服务插件的使用

试用CLB-demo体验数据源插件

为快速体验日志服务数据源插件，推荐使用 DEMO日志 功能进行快速体验。

参考文档创建日志主题后，记录日志主题ID，进入Grafana的插件预设目录，打开 CLB Demo访问日志 仪表盘。在顶部 TopicId 输入框中，填写该日志主题ID，可以看到相关数据的查询结果已在仪表盘中进行展示。

查看原始日志

对于检索类场景，推荐使用Logs插件进行展示。

对于Grafana v8.3以上版本用户，也可通过 Transform功能中的 Extract fields功能，对检索返回内容进行字段提取，在Table中查看数据。

使用日志分析输入SQL进行绘图展示

Grafana的原生图表，在数据可视化上的思路为：数据类型驱动。根据字段的类型，判断某类图表能否绘制、如何绘制。

1. 绘制表格

表格对数据格式没有特殊要求，任意SQL返回内容都可以进行展示。

2. 绘制时序图

SQL返回内容包含两个字段，时间类型的analytic_time和数值类型的log_count，完成绘图。

* | select histogram( cast(__TIMESTAMP__ as timestamp), interval 1 minute) as analytic_time, count(*) as log_count group by analytic_time order by analytic_time limit 1000

3. 绘制饼图类（Pie、Gauge、BarGauge、Stat）

注意右侧图表配置项Value Options - show选择All values

* | select try_cast(status as varchar) as status, count(*) as log_count group by status

Tips: 对于SQL返回的内容字段类型不满足图表绘制，除在SQL中使用类型转化函数外，还可使用Grafana Transform Convert field type 功能，可达到可视化展示的目的。

其他使用指引

云监控数据源模板变量功能 ，可使用Namespace=QCE/CLS&Action=DescribeInstances&Region=$region&display=${TopicName}/${TopicId} 查询日志主题选项，用于变量内容。

加入「腾讯云日志服务CLS技术交流群」，获取更多资讯，掌握最新动态！

欢迎关注「云原生日志服务CLS」公众号