原创

腾讯云CLS产品应用

日志服务(Cloud Log Service)提供一站式的日志数据解决方案。用户无需关注扩缩容等资源问题,五分钟快速便捷接入,即可享受从日志采集、日志存储到日志内容搜索、统计分析等全方位稳定可靠的日志服务。协助用户更便捷的进行业务问题的定位,指标监控、安全审计等日志问题。大大降低日志运维门槛

相关概念:

*LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进行结构化后推送至日志服务中枢。

*日志服务中枢:这里指的是腾讯云日志服务CLS,日志服务负责对日志的存储,过滤,推送等任务。推送于过滤操作均由控制台操作,步骤简单。通过控制台定义日志索引key,通过索引关键字搜索能够快速找到相应日志记录,通过日志记录反馈能够快速进行业务问题的定位。

*COS存储桶:通过控制台日志服务配置推送任务,可以将日志进行冷备存储;数据存储于对象存储中,可以联动腾讯云大数据产品进行COS存储桶的数据拉取,进行日志分析。

*Ckafka:CLS日志服务目前腾讯云消息队列产品Ckafka进行实时的消费,目前只需在控制台点击开启按钮即可实现该功能。

一、CLS日志服务Agent部署Demo.

示例环境架构:

1、腾讯云上创建一台centos7.2的cvm,搭建Nginx服务。

Shell>yum install nginx -y   //安装nginx服务

Shell> vim /etc/nginx/conf.d/default.conf //这里需要做一个配置更改、不然启动服务会报错。

7  #    listen       [::]:80 default_server;  //将配置文件第七行注释掉。

Shell>nginx             //开启Nginx服务。

2、Nginx服务器上部署Agent采集服务logListener。

logListener下载链接:

https://main.qcloudimg.com/raw/ee52812a5bf211d08f7ed1a4c894a747/loglistener.2.2.0.tar.gz

Shell>yum install lrzsz -y     //安装上传文件工具

Shell>rz                 //通过工具上传logListener.tar.gz安装包

Shell>tar -zxvf loglistener.tar.gz  && cd loglistener/tools/

Shell>./install.sh  $(SecretId)  $(secretkey)  $(region) //API密钥ID需官网获取

Shell>./start.sh         //启动Agent服务

logListener服务介绍参考官网说明:https://cloud.tencent.com/document/product/614/17414

3.1、创建日志集,设置采集配置.

3.2、设置索引配置.

参考链接:https://cloud.tencent.com/document/product/614/16981

3.3日志检索

索引语法匹配规则参考链接:https://cloud.tencent.com/document/product/614/16981

4、配置投递任务管理(配置定时任务将采集到的日志冷备推送至COS)

投递配置参考链接: https://cloud.tencent.com/document/product/614/14035

二、 总结

1、日志服务CLS非常适用于批量机器的日志采集聚合,通过安装Agent采集服务,定义日志主题与机器群组将应用日志实时采集到CLS中进行检索查询,便捷运维人员日志管理与应用服务故障定位.

2、在使用日志服务CLS中,如果日志类型本身属于结构化的日志记录,那么配合过滤器使用可以将日志进行更精准的定位。

示例: 日志样例:10002345987;write;error;topic does not exist 定义符号;作为分割符,并给vlaue定义key. KEY              vlaue uin 10002345987 Status             write Code               error Information       topic does not exist 过滤器配置: KEY              过滤规则 Code             error #过滤规则支持正则匹配 通过过滤器可以将code=error的日志过滤、并汇聚到CLS上。通过报错内容进行日志分析。

3、目前CLS支持API/SDK手动配置日志上传、或安装Agent采集服务进行在日志上传。目前安装Agent做实时的日志采集需要占用一定的系统资源消耗,如果针对数据量大的日志采集需要提前对系统资源消耗进行测试评估。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 腾讯云CLS日志服务应用

    *LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进...

    来自青铜段位的咸鱼
  • Logan:美团点评移动端基础日志库揭秘

    背景 对于移动应用来说,日志库是必不可少的基础设施,美团点评集团旗下移动应用每天产生的众多种类的日志数据已经达到几十亿量级。为了解决日志模块普遍存在的效率、安全...

    美团技术团队
  • 【产品分享】数字化转型趋势下,如何实现日志统一管理?

    早期在系统规模较小的时候,系统的运维主要靠运维人员手工完成。随着业务的急剧膨胀、微服务化,运维面临巨大的挑战,日志数据管理也面临各种问题:

    嘉为科技
  • Z大牛分享 | Zabbix监控日志文件

    最近很多人在咨询日志监控的事情,对于日志这个问题,简单也简单,不简单也不简单,日志最先反映出应用当前的问题,在海量日志里面找到我们异常记录,然后记录下来,...

    Zabbix
  • 技术增强: 如何更优雅地开发中间件?

    那你就错了,我们这里说的中间件,并不一定是那些如dubbo之类很牛逼的开源组件,而是,你们公司内部自己使用的公共组件。

    彤哥
  • 如何优雅的使用ELK构建日志中心

    还在记复杂的Linux命令?还在为查询线上日志而苦恼?还觉得会操作Linux是个很牛X的技能?

    黑洞代码
  • 日志自动分析和解析开源工具

    https://blog.csdn.net/arpospf/article/details/98795806

    lovelife110
  • 【PaperReading】Tools and Benchmarks for Automated Log Parsing

    Jieming Zhu① , Shilin He② , Jinyang Liu③ , Pinjia He④ , Qi Xie⑤ , Zibin Zheng⑥ ,...

    lovelife110
  • 你真的会正确使用日志吗?

    日志在应用程序中是非常非常重要的,好的日志信息能有助于我们在程序出现 BUG 时能快速进行定位,并能找出其中的原因。

    xcbeyond
  • C语言 | C++打印有效日志

    一般在程序上线之后,一旦发生异常,第一件事就是要弄清楚当时发生了什么。用户当时做了什么操作,环境有无影响,数据有什么变化,是不是反复发生等,然后再进一步的确定大...

    C语言入门到精通

扫码关注云+社区

领取腾讯云代金券