腾讯云CLS产品应用

日志服务(Cloud Log Service)提供一站式的日志数据解决方案。用户无需关注扩缩容等资源问题,五分钟快速便捷接入,即可享受从日志采集、日志存储到日志内容搜索、统计分析等全方位稳定可靠的日志服务。协助用户更便捷的进行业务问题的定位,指标监控、安全审计等日志问题。大大降低日志运维门槛

相关概念:

*LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进行结构化后推送至日志服务中枢。

*日志服务中枢:这里指的是腾讯云日志服务CLS,日志服务负责对日志的存储,过滤,推送等任务。推送于过滤操作均由控制台操作,步骤简单。通过控制台定义日志索引key,通过索引关键字搜索能够快速找到相应日志记录,通过日志记录反馈能够快速进行业务问题的定位。

*COS存储桶:通过控制台日志服务配置推送任务,可以将日志进行冷备存储;数据存储于对象存储中,可以联动腾讯云大数据产品进行COS存储桶的数据拉取,进行日志分析。

*Ckafka:CLS日志服务目前腾讯云消息队列产品Ckafka进行实时的消费,目前只需在控制台点击开启按钮即可实现该功能。

一、CLS日志服务Agent部署Demo.

示例环境架构:

1、腾讯云上创建一台centos7.2的cvm,搭建Nginx服务。

Shell>yum install nginx -y   //安装nginx服务

Shell> vim /etc/nginx/conf.d/default.conf //这里需要做一个配置更改、不然启动服务会报错。

7  #    listen       [::]:80 default_server;  //将配置文件第七行注释掉。

Shell>nginx             //开启Nginx服务。

2、Nginx服务器上部署Agent采集服务logListener。

logListener下载链接:

https://main.qcloudimg.com/raw/ee52812a5bf211d08f7ed1a4c894a747/loglistener.2.2.0.tar.gz

Shell>yum install lrzsz -y     //安装上传文件工具

Shell>rz                 //通过工具上传logListener.tar.gz安装包

Shell>tar -zxvf loglistener.tar.gz  && cd loglistener/tools/

Shell>./install.sh  $(SecretId)  $(secretkey)  $(region) //API密钥ID需官网获取

Shell>./start.sh         //启动Agent服务

logListener服务介绍参考官网说明:https://cloud.tencent.com/document/product/614/17414

3.1、创建日志集,设置采集配置.

3.2、设置索引配置.

参考链接:https://cloud.tencent.com/document/product/614/16981

3.3日志检索

索引语法匹配规则参考链接:https://cloud.tencent.com/document/product/614/16981

4、配置投递任务管理(配置定时任务将采集到的日志冷备推送至COS)

投递配置参考链接: https://cloud.tencent.com/document/product/614/14035

二、 总结

1、日志服务CLS非常适用于批量机器的日志采集聚合,通过安装Agent采集服务,定义日志主题与机器群组将应用日志实时采集到CLS中进行检索查询,便捷运维人员日志管理与应用服务故障定位.

2、在使用日志服务CLS中,如果日志类型本身属于结构化的日志记录,那么配合过滤器使用可以将日志进行更精准的定位。

示例: 日志样例:10002345987;write;error;topic does not exist 定义符号;作为分割符,并给vlaue定义key. KEY              vlaue uin 10002345987 Status             write Code               error Information       topic does not exist 过滤器配置: KEY              过滤规则 Code             error #过滤规则支持正则匹配 通过过滤器可以将code=error的日志过滤、并汇聚到CLS上。通过报错内容进行日志分析。

3、目前CLS支持API/SDK手动配置日志上传、或安装Agent采集服务进行在日志上传。目前安装Agent做实时的日志采集需要占用一定的系统资源消耗,如果针对数据量大的日志采集需要提前对系统资源消耗进行测试评估。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏情情说

RabbitMQ实战:消息通信模式和最佳实践

通过前2篇的介绍,了解了消息通信的主要元素和交互过程,以及如何运行和管理RabbitMQ,这篇将站在开发模式的角度理解「面向消息通信」带来的好处,以及在各种场景...

5535
来自专栏刺客博客

详细记录Nginx配置Https过程

6884
来自专栏Laoqi's Linux运维专列

高性能可靠服务集群架构

3073
来自专栏WeTest质量开放平台团队的专栏

Linker加载so失败问题分析

原文链接:https://wetest.qq.com/lab/view/421.html

1431
来自专栏何俊林

直播技术总结(二)ijkplayer的编译到Android平台并测试解码库

前言:ijkplayer,是b站工程师开源的播放器框架,基于FFmpeg及MediaCodec,内部实现软解及硬解的功能,对于没有自研底层播放器的公司,用它确实...

3345
来自专栏开源优测

[接口测试_B] 07 Pytest的测试报告

pytest命令行运行时,可以直接在控制台中查看到输出的结果,但这样的结果并不直观,也不易于保存用于后续分析和分享。如pytest -s -q test_xx....

3506
来自专栏知晓程序

电商/票务类小程序必读,如何用小程序推送消息?

通常,服务方向用户推送的消息都带有通知性质,文案也相对固定。服务方将这类固定的文案制作成模板,这些文案就可以快速重复使用。

1342
来自专栏全华班

敏捷工作流开发平台(学习参考)

资源管理(用于服务器鉴权,用户分配资源菜单)、数据字典、定时计划(定时调度引擎)、系统属性(多环境系统参数定义)、系统数据源(系统支持多数据源的数据获取,系统数...

2411
来自专栏java学习

针对java初学者以及自学者的一篇入门教程

Java基础 | 数据库 | Android | 学习视频 | 学习资料下载 最新通知 按照我去培训机构的学习经历,给初学还有自学Java 的同学一个基本的学习...

4389
来自专栏数据和云

Oracle 原版经典ppt首次公开,免费下载:Oracle RAC Internals

接下来我们将会针对ppt中最经典的模块进行讲解分享。 一、Cluster Domain 在12.2中,OracleRAC有很多重要的改进。而Cluster Do...

4517

扫码关注云+社区

领取腾讯云代金券