操作指南

API 文档

诚邀爱技术、爱分享的你,成为文档内容共建者> HOT
LogListener 是腾讯云日志服务(Cloud Log Service,CLS)所提供的专用日志采集器,将它安装部署到服务器上,可快速采集日志到日志服务。

安装环境

LogListener 仅支持64位 Linux 操作系统环境(暂不支持 Windows),并适配主流 Linux 操作系统版本,若其他版本环境若安装异常,请 提交工单 联系我们。
操作系统类别              
确定可安装环境
CentOS(64位)
CentOS_6.8_64位、CentOS_6.9_64位、CentOS_7.2_64位、CentOS_7.3_64位、CentOS_7.4_64位、CentOS_7.5_64位、CentOS_7.6_64位、CentOS_8.0_64位
Ubuntu(64位)
Ubuntu Server_14.04.1_LTS_64位、Ubuntu Server_16.04.1_LTS_64位、Ubuntu Server_18.04.1_LTS_64位
Debian(64位)
Debian_8.2_64位、Debian_9.0_64位
openSUSE(64位)
openSUSE_42.3_64位
TencentOS Server
TencentOS Server 3.1、TencentOS Server 2.4

支持功能

LogListener 版本支持重要功能如下,详细版本功能信息请参考 LogListener 版本变更
LogListener 版本
支持功能
功能说明
相关文档
v2.8.0
支持GBK编码采集;优化json提取模式转义符
Loglistener 支持采集GBK编码模式的日志文本
-
v2.7.4
支持采集主机名 hostname
Loglistener 会默认采集机器的主机名作为默认字段上报,以 \\_\\_HOSTNAME\\_\\_ 作为 key 展现,例如 \\_\\_HOSTNAME\\_\\_:VM-108-centos。
-
v2.6.4
支持用户通过组合解析自定义复杂日志解析规则
使用 Loglistener 组合解析格式解析日志,此模式支持用户在控制台输入代码(JSON 格式)用来定义日志解析的流水线逻辑。
v2.6.0
支持腾讯云 CVM 批量部署功能
支持用户在控制台选择 CVM 实例,接口批量下发部署 LogListener 任务,自动完成 LogListener 的安装部署(包括 accesskey,ID 配置,地域配置)。
v2.5.4
支持 LogListener 服务日志功能
LogListener 服务日志功能支持记录 LogListener 端运行状态和采集监控的日志数据并配置可视化视图,提供重要指标数据。
v2.5.2
支持上传解析失败日志
所有解析失败的日志,均以 LogParseFailure 作为键名称(Key),原始日志内容作为值(Value)进行上传。
-
v2.5.0
支持 LogListener 自动升级功能
支持用户在控制台预设时间段指定机器组进行 agent 自动升级,也可对目标机器实行手动升级。
v2.4.5
支持多行-完全正则采集模式
LogListener 采集配置规则新增多行-完全正则提取模式采集日志。

安装启动

1. 下载安装 LogListener

LogListener 最新版本下载地址:公网下载 LogListener内网下载 LogListener

以安装路径/usr/local/为例: 下载 LogListener 安装包并解压,解压路径为/usr/local/ ,解压完成后进入 LogListener 目录/usr/local/loglistener/tools,执行安装命令 。
说明:
从2.8.3 版本开始,Loglistener 安装包不再添加版本号后缀,使用 loglistener-linux-x64 默认安装最新版本。如果需要安装特定版本可以在后面指定版本号,如将 loglistener-linux-x64 替换为 loglistener-linux-x64-2.8.0,将会指定安装2.8.0版本。
公网环境下,操作命令如下:
wget http://mirrors.tencent.com/install/cls/loglistener-linux-x64.tar.gz && tar zxvf loglistener-linux-x64.tar.gz -C /usr/local/ && cd /usr/local/loglistener/tools && ./loglistener.sh install
内网环境下,操作命令如下:
wget http://mirrors.tencentyun.com/install/cls/loglistener-linux-x64.tar.gz && tar zxvf loglistener-linux-x64.tar.gz -C /usr/local/ && cd /usr/local/loglistener/tools && ./loglistener.sh install

2. 初始化 LogListener

以安装路径/usr/local/为例,在/usr/local/loglistener/tools路径下,以 root 权限执行 LogListener 初始化命令(默认使用内网方式访问服务),初始化命令如下:
./loglistener.sh init -secretid AKIDPEtPyKabfW8Z3Uspdz83xxxxxxxxxxx -secretkey whHwQfjdLnzzCE1jIf09xxxxxxxxxxxx -region ap-xxxxxx
说明:
初始化命令中 -secretid、-secretkey、-region、-network 为需要自主填写的参数,详细介绍请见如下 参数说明

参数说明

参数名
类型描述
secretid
云 API 密钥 的一部分,SecretId 用于标识 API 调用者身份
secretkey
云 API 密钥 的一部分,SecretKey 是用于加密签名字符串和服务器端验证签名字符串的密钥
region
region 表示日志服务所在的 地域,此处填写域名简称,例如 ap-beijing、ap-guangzhou 等
network
表示 loglistener 通过哪种方式访问服务域名,取值:intra 内网访问(默认),internet 外网访问
IP
机器的 IP 标识。若不填写,loglistener 会自动获取本机的 IP 地址
label
机器组标示,标示机器组需要填写标示信息,多个标示按逗号分隔
默认使用内网域名:



如果需要通过外网方式访问服务域名,需要显式设置网络参数internet,执行如下命令:
./loglistener.sh init -secretid AKIDPEtPyKabfW8Z3Uspdz83xxxxxxxxxxxx -secretkey whHwQfjdLnzzCE1jIf0xxxxxxxxxxxx -region ap-xxxxxx -network internet



说明:
若主账号已授权协作者日志服务的读写权限,建议使用协作者密钥。
region 为您所使用的日志服务区域,而非您的业务机器所处的区域。
云服务器与日志集同地域的情况下,建议使用内网方式访问服务域名。云服务器与日志集在不同地域的情况下,建议使用外网方式访问服务域名。
关于日志采集权限详情,可参考 授权子账号对 CLS 某个日志主题具有日志采集权限 文档。

3. 启动 LogListener

loglistener2.8.3以上并且操作系统具有systemd
systemctl start loglistenerd
loglistener2.8.3以下或者loglistener2.8.3以上但是操作系统没有systemd
/etc/init.d/loglistenerd start




LogListener 常用操作

说明:
本文档示例的操作命令说明仅适用于 LogListener-2.2.4 及以上版本,低版本操作命令请参见 低版本 LogListener 安装指南

1. 查看 LogListener 版本

/etc/init.d/loglistenerd -v

2. 查看 LogListener 帮助文档

/etc/init.d/loglistenerd -h

3. LogListener 进程管理

loglistener2.8.3以上并且操作系统具有systemd
systemctl (start|restart|stop) loglistenerd # 启动、重启、停止
loglistener2.8.3以下或者loglistener2.8.3以上但是操作系统没有systemd
/etc/init.d/loglistenerd (start|restart|stop) # 启动、重启、停止

4. 查看 LogListener 进程状态

/etc/init.d/loglistenerd status
LogListener 正常情况会运行两个进程:



5. 检查 LogListener 心跳及配置

/etc/init.d/loglistenerd check




卸载 LogListener

以安装路径/usr/local/为例,在/usr/local/loglistener/tools路径下,以管理员权限执行卸载命令:
./loglistener.sh uninstall

手动更新 LogListener

复用断点文件(不会重复采集日志):

1. 使用停止命令停止运行旧版本的 LogListener。
2. 备份旧版本中的断点文件目录(loglistener/data)。例如:将旧版的断点文件备份至/tmp/loglistener-backup目录下。
cp -r loglistener-2.2.3/data /tmp/loglistener-backup/
3. 使用卸载命令卸载旧版本的 LogListener。
4. 下载最新版本的 LogListener,并使用相关命令安装和初始化新版本 LogListener。
5. 复制所备份的断点文件目录(步骤2)到新版本 LogListener 目录下。
cp -r /tmp/loglistener-backup/data loglistener-<version>/
请根据实际情况替换 &lt;version&gt;,例如:
cp -r /tmp/loglistener-backup/data loglistener-2.8.2/
6. 使用启动命令启动运行新版本 LogListener。

不复用断点文件(可能会重复采集日志):

1. 使用停止命令停止运行旧版本的 LogListener。
2. 使用卸载命令卸载旧版本的 LogListener。
3. 下载最新版本的 LogListener,并使用相关命令安装和初始化新版本 LogListener。
4. 使用启动命令启动运行新版本 LogListener。
目录