专栏首页CLS日志服务腾讯云CLS日志服务应用
原创

腾讯云CLS日志服务应用

日志服务(Cloud Log Service)提供一站式的日志数据解决方案。用户无需关注扩缩容等资源问题,五分钟快速便捷接入,即可享受从日志采集、日志存储到日志内容搜索、统计分析等全方位稳定可靠的日志服务。协助用户更便捷的进行业务问题的定位,指标监控、安全审计等日志问题。大大降低日志运维门槛

相关概念:

*LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进行结构化后推送至日志服务中枢。

*日志服务中枢:这里指的是腾讯云日志服务CLS,日志服务负责对日志的存储,过滤,推送等任务。推送于过滤操作均由控制台操作,步骤简单。通过控制台定义日志索引key,通过索引关键字搜索能够快速找到相应日志记录,通过日志记录反馈能够快速进行业务问题的定位。

*COS存储桶:通过控制台日志服务配置推送任务,可以将日志进行冷备存储;数据存储于对象存储中,可以联动腾讯云大数据产品进行COS存储桶的数据拉取,进行日志分析。

*Ckafka:CLS日志服务目前腾讯云消息队列产品Ckafka进行实时的消费,目前只需在控制台点击开启按钮即可实现该功能。

一、CLS日志服务Agent部署Demo.

示例环境架构:

1、腾讯云上创建一台centos7.2的cvm,搭建Nginx服务。

Shell>yum install nginx -y   //安装nginx服务

Shell> vim /etc/nginx/conf.d/default.conf //这里需要做一个配置更改、不然启动服务会报错。

7  #    listen       [::]:80 default_server;  //将配置文件第七行注释掉。

Shell>nginx             //开启Nginx服务。

2、Nginx服务器上部署Agent采集服务logListener。

logListener下载链接:

https://main.qcloudimg.com/raw/ee52812a5bf211d08f7ed1a4c894a747/loglistener.2.2.0.tar.gz

Shell>yum install lrzsz -y     //安装上传文件工具

Shell>rz                 //通过工具上传logListener.tar.gz安装包

Shell>tar -zxvf loglistener.tar.gz  && cd loglistener/tools/

Shell>./install.sh  $(SecretId)  $(secretkey)  $(region) //API密钥ID需官网获取

Shell>./start.sh         //启动Agent服务

logListener服务介绍参考官网说明:https://cloud.tencent.com/document/product/614/17414

3.1、创建日志集,设置采集配置.

3.2、设置索引配置.

参考链接:https://cloud.tencent.com/document/product/614/16981

3.3日志检索

索引语法匹配规则参考链接:https://cloud.tencent.com/document/product/614/16981

4、配置投递任务管理(配置定时任务将采集到的日志冷备推送至COS)

投递配置参考链接: https://cloud.tencent.com/document/product/614/14035

二、 总结

1、日志服务CLS非常适用于批量机器的日志采集聚合,通过安装Agent采集服务,定义日志主题与机器群组将应用日志实时采集到CLS中进行检索查询,便捷运维人员日志管理与应用服务故障定位.

2、在使用日志服务CLS中,如果日志类型本身属于结构化的日志记录,那么配合过滤器使用可以将日志进行更精准的定位。

示例:

日志样例:10002345987;write;error;topic does not exist

定义符号;作为分割符,并给vlaue定义key.

KEY              vlaue

uin 10002345987

Status             write

Code               error

Information       topic does not exist

过滤器配置:

KEY              过滤规则

Code             error

#过滤规则支持正则匹配

通过过滤器可以将code=error的日志过滤、并汇聚到CLS上。通过报错内容进行日志分析。

3、目前CLS支持API/SDK手动配置日志上传、或安装Agent采集服务进行在日志上传。目前安装Agent做实时的日志采集需要占用一定的系统资源消耗,如果针对数据量大的日志采集需要提前对系统资源消耗进行测试评估。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 腾讯云CLS产品应用

    *LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进...

    来自青铜段位的咸鱼
  • 【程序源代码】《Spring Boot开发笔记》日志管理​

    这套笔记和源码是我自己在学习springboot开发中实际一个字一个字敲出来的。因为这套开发笔记是逐步整理出来的,每期会介绍不同的技术开发点。所以请大家关注公众...

    程序源代码
  • 一种高并发环境下交易日志连续输出的机制

    原文地址:http://www.xzbu.com/1/view-6507464.htm

    后端技术探索
  • 不一样的日志

    这里提的日志并不是应用程序产生的日志,应用程序产生的日志是以一种人类读得懂的方式展示程序运行信息的记录方式,本身不包含任何数据,这篇文章所要描述的日志指的数据系...

    哒呵呵
  • 数据安全分析思想探索

    日志分析在入侵检测中的应用越来越广泛,合适的使用日志,使日志产生巨大的价值,本文旨在探讨如何让日志的价值在安全领域发挥作用。

    FB客服
  • Java 程序如何正确地打日志

    我们 Java 程序员在开发项目时都是依赖 Eclipse/ Idea 等开发工具的 Debug 调试功能来跟踪解决 Bug,在开发环境可以这么做,但项目发布到...

    CSDN技术头条
  • 腾讯云CLS产品应用

    *LogListener: 是腾讯云日志服务提供的日志采集 Agent,通过在服务器上安装loglistener可以实时采集指定路径上的日志,并对日志原始数据进...

    来自青铜段位的咸鱼
  • 基于微服务的日志中心设计、实现与关键配置

    日志向来都是运维以及开发人员最关心的问题。运维人员可以及时的通过相关日志信息发现系统隐患、系统故障并及时安排人员处理解决问题。开发人员解决问题离不开日志信息的协...

    yuanyi928
  • 开源日志框架的原理与分析(下)

    #开发代码时要有意识的设想代码出现问题时的场景,针对场景记录关键程序的运行信息,容易定位问题

    疯狂的KK
  • 日志中的用户隐私安全

    对于敏捷团队,安全卡应该提到比业务卡更高的优先级,同样需要放在backlog里面进行track,需要kick off、deskcheck,需要一个正经的流程或者...

    ThoughtWorks

扫码关注云+社区

领取腾讯云代金券

玩转腾讯云 有奖征文活动