grafana loki轻量级日志收集系统

章工运维

发布于 2023-05-19 19:44:02

1.3K00

代码可运行

文章被收录于专栏：章工运维章工运维

运行总次数：0

代码可运行

# Loki 日志系统

# Loki 概述

Grafana Loki

Loki的第一个稳定版本于2019年11月19日发布
是 Grafana Labs 团队最新的开源项目
是一个水平可扩展，高可用性，多租户的日志聚合系统

Loki的第一个稳定版本于2019年11月19日发布是 Grafana Labs 团队最新的开源项目是一个水平可扩展，高可用性，多租户的日志聚合系统 Loki 特性

不对日志进行全文索引（vs ELK技）
通过存储压缩非结构化日志和仅索引元数据，Loki 操作起来会更简单，更省成本
通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组，使得日志的扩展和操作效率更高
特别适合储存 Kubernetes Pod 日志; 诸如 Pod 标签之类的元数据会被自动删除和编入索引
适合中小团队对日志平台的需求
受 Grafana 原生支持

Loki 组成

loki 是主服务器，负责存储日志和处理查询
promtail 是代理，负责收集日志并将其发送给 loki
Grafana 用于 UI 展示

# 安装 Loki

# 环境说明

演示环境拓扑

Loki和grafana服务器：192.168.0.11
promtail 日志收集服务器：192.168.0.11，192.168.0.12
使用docker下载并运行镜像

# Loki 主服务器

运行 grafana loki

$ docker run -ti -p 3000:3000 grafana/grafana:master
$ docker run -ti -p --name loki 3100:3100 grafana/loki:2.4.1

启动 promtail ，将 promtail 配置文件拷贝到宿主机

$ docker run -ti --name promtail grafana/promtail:2.4.1 -config.file=/etc/promtail/config.yml
$ mkdir /data/soft/promtail
$ docker cp promtail:/etc/promtail/config.yml /data/soft/promtail/config.yml

收集 nginx 日志

修改 promtail 配置文件
url：指定 Loki 地址

$ vim /data/soft/promtail/config.yml
server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://192.168.0.11:3100/loki/api/v1/push

scrape_configs:
- job_name: system
  static_configs:
  - targets:
      - localhost
    labels:
      job: nginxlogs # job 名称
      __path__: /var/log/nginx/*log  # 收集日志路径

挂载 nginx 日志文件目录和 promtail 配置文件到容器

$ docker run -ti --name promtail \
-v /var/log/nginx/:/var/log/nginx/ \
-v /data/soft/promtail/config.yml:/etc/promtail/config.yml \
grafana/promtail:2.4.1 -config.file=/etc/promtail/config.yml

# 使用 Loki

访问 grafana 面板

默认用户名和密码是 admin
http://192.168.0.11:3000

添加数据源

配置选择 DATA SOURCES
点击 Add data source 添加 Loki

配置 Loki 地址

url 填写正确地址
点击 Save & test 测试并保存

使用 Loki

切换到 grafana 左侧区域的 Explore
数据库源选择 Loki
点击 Log browser 选择需要查看的日志

# 查看日志

# Loki 选择器

查询表达式

对于查询表达式的标签部分，将其包装在花括号中{}
使用键值对的语法来选择标签
多个标签表达式用逗号分隔

{filename="/var/log/nginx/pcb.access.log",job="nginxlogs"}

匹配运算符

= 等于
*!= 不相等
=~ 正则表达式匹配
!~ 不匹配正则表达式 Loki 过滤器 搜索表达式
搜索表达式可以只是文本或正则表达式
表达式接受RE2语法
匹配项区分大小写 过滤器类型
|= 行包含字符串。
!= 行不包含字符串。
|~ 行匹配正则表达式。
!~ 行与正则表达式不匹配

{filename="/var/log/nginx/pcb.access.log",job="nginxlogs"} |~ "\"nx_status\":200"

# promtail

# 客户端收集日志

将需要收集的日志挂载到 promtail 容器

客户端仅启动 promtail 日志收集容器
-v 宿主机日志目录:/var/log/****

promtail 配置说明

支持通配符 *, 表示所有，比如 *.log
多个日志目录可以使用 {path1,path2,…pathN} 区分
不同的 job 使用 targets 区分

 - targets:
      - localhost
    labels:
      job: logsname1
      __path__: /var/log/path1/*log

  - targets:
      - localhost
    labels:
      job: logsname2
      __path__: /var/log/path2/*log

# 注意事项

promtail 报 429 错误

收集的日志太多了，超过了 loki 的限制

level=warn ts=2021-12-02T06:27:01.372586524Z caller=client.go:349 component=client host=192.168.0.11:3100 msg="error sending batch, will retry" status=429 error="server returned HTTP status 429 Too Many Requests (429): entry with timestamp 2021-12-02 06:27:01.316127865 +0000 UTC ignored, reason: 'Per stream rate limit exceeded (limit: 3MB/sec) while attempting to ingest for stream '{filename=\"/var/log/nginx/nginx.log\", job=\"nginxlogs\"}' totaling 1697740B, consider splitting a stream via additional labels or contact your Loki administrator to see if the limt can be increased' for stream: {filename=\"/var/log/nginx/nginx.log\", job=\"nginxlogs\"},"

增加 Loki 限制

limits_config:
  enforce_metric_name: false
  reject_old_samples: true
  reject_old_samples_max_age: 168h
  ingestion_rate_mb: 40
  ingestion_burst_size_mb: 20

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2023-03-26，如有侵权请联系 cloudcommunity@tencent.com 删除

正则表达式