专栏首页CLS日志服务腾讯云CLS日志服务应用
原创

腾讯云CLS日志服务应用

日志服务(Cloud Log Service)提供一站式的日志数据解决方案。用户无需关注扩缩容等资源问题,五分钟快速便捷接入,即可享受从日志采集、日志存储到日志内容搜索、统计分析等全方位稳定可靠的日志服务。协助用户更便捷的进行业务问题的定位,指标监控、安全审计等日志问题。大大降低日志运维门槛

相关概念:

*LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进行结构化后推送至日志服务中枢。

*日志服务中枢:这里指的是腾讯云日志服务CLS,日志服务负责对日志的存储,过滤,推送等任务。推送于过滤操作均由控制台操作,步骤简单。通过控制台定义日志索引key,通过索引关键字搜索能够快速找到相应日志记录,通过日志记录反馈能够快速进行业务问题的定位。

*COS存储桶:通过控制台日志服务配置推送任务,可以将日志进行冷备存储;数据存储于对象存储中,可以联动腾讯云大数据产品进行COS存储桶的数据拉取,进行日志分析。

*Ckafka:CLS日志服务目前腾讯云消息队列产品Ckafka进行实时的消费,目前只需在控制台点击开启按钮即可实现该功能。

一、CLS日志服务Agent部署Demo.

示例环境架构:

1、腾讯云上创建一台centos7.2的cvm,搭建Nginx服务。

Shell>yum install nginx -y   //安装nginx服务

Shell> vim /etc/nginx/conf.d/default.conf //这里需要做一个配置更改、不然启动服务会报错。

7  #    listen       [::]:80 default_server;  //将配置文件第七行注释掉。

Shell>nginx             //开启Nginx服务。

2、Nginx服务器上部署Agent采集服务logListener。

logListener下载链接:

https://main.qcloudimg.com/raw/ee52812a5bf211d08f7ed1a4c894a747/loglistener.2.2.0.tar.gz

Shell>yum install lrzsz -y     //安装上传文件工具

Shell>rz                 //通过工具上传logListener.tar.gz安装包

Shell>tar -zxvf loglistener.tar.gz  && cd loglistener/tools/

Shell>./install.sh  $(SecretId)  $(secretkey)  $(region) //API密钥ID需官网获取

Shell>./start.sh         //启动Agent服务

logListener服务介绍参考官网说明:https://cloud.tencent.com/document/product/614/17414

3.1、创建日志集,设置采集配置.

3.2、设置索引配置.

参考链接:https://cloud.tencent.com/document/product/614/16981

3.3日志检索

索引语法匹配规则参考链接:https://cloud.tencent.com/document/product/614/16981

4、配置投递任务管理(配置定时任务将采集到的日志冷备推送至COS)

投递配置参考链接: https://cloud.tencent.com/document/product/614/14035

二、 总结

1、日志服务CLS非常适用于批量机器的日志采集聚合,通过安装Agent采集服务,定义日志主题与机器群组将应用日志实时采集到CLS中进行检索查询,便捷运维人员日志管理与应用服务故障定位.

2、在使用日志服务CLS中,如果日志类型本身属于结构化的日志记录,那么配合过滤器使用可以将日志进行更精准的定位。

示例:

日志样例:10002345987;write;error;topic does not exist

定义符号;作为分割符,并给vlaue定义key.

KEY              vlaue

uin 10002345987

Status             write

Code               error

Information       topic does not exist

过滤器配置:

KEY              过滤规则

Code             error

#过滤规则支持正则匹配

通过过滤器可以将code=error的日志过滤、并汇聚到CLS上。通过报错内容进行日志分析。

3、目前CLS支持API/SDK手动配置日志上传、或安装Agent采集服务进行在日志上传。目前安装Agent做实时的日志采集需要占用一定的系统资源消耗,如果针对数据量大的日志采集需要提前对系统资源消耗进行测试评估。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 腾讯云CLS产品应用

    *LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进...

    来自青铜段位的咸鱼
  • 系统日志管理那点事

    说起日志,大家都是耳熟能详的,一大堆日志插件映入眼帘,日志收集的方式也历历在目,但是,今天我们的重点不仅仅是收集日志了,今天我们主要说说怎么管理日志 收集日志 ...

    itmifen
  • 【学习】深度解析LinkedIn大数据平台(一)

    我在六年前的一个令人兴奋的时刻加入到LinkedIn公司。从那个时候开始我们就破解单一的、集中式数据库的限制,并且启动到特殊的分布式系统套件的转换。这是一件令人...

    小莹莹
  • 将serilog不同级别日志内容刷入对应的日志文件

    在开发调试或上线运行,日志都是不可或缺的排查问题的依据,面对大量日志内容,如何方便快速定位关键信息呢?

    校长
  • 拥抱 Golang 和云原生的日志系统实践

    在大多数的业务系统的构建和开发之中,日志作为系统运行背后的产出,描述着我们系统的行为和状态,是开发和运维人员对系统进行观察和分析的基石。在系统状态比较微小和原始...

    深度学习与Python
  • 日志服务

    日志(Log)是系统在运行过程中变化的一种抽象,其内容为指定对象的某些操作和其操作结果按时间的有序集合。日志的不同载体

    皮大大
  • 一文搞懂Java日志级别,重复记录、丢日志问题

    因为不会直接导致代码 bug,测试人员也难及时发现问题,开发就没仔细考虑日志内容获取的性能开销、随意选用日志级别。

    JavaEdge
  • 程序员因重复记录日志撑爆ELK被辞退!

    由于日志配置繁杂,很多同学喜欢直接cv其他项目或网上博客的配置文件,而不仔细研究每个配置项。最常见的就是重复记录日志,这不但给查看和统计带来不必要麻烦,还会增加...

    JavaEdge
  • 【产品分享】数字化转型趋势下,如何实现日志统一管理?

    早期在系统规模较小的时候,系统的运维主要靠运维人员手工完成。随着业务的急剧膨胀、微服务化,运维面临巨大的挑战,日志数据管理也面临各种问题:

    嘉为科技
  • Z大牛分享 | Zabbix监控日志文件

    最近很多人在咨询日志监控的事情,对于日志这个问题,简单也简单,不简单也不简单,日志最先反映出应用当前的问题,在海量日志里面找到我们异常记录,然后记录下来,...

    Zabbix

扫码关注云+社区

领取腾讯云代金券