使用Fluentd收集Docker容器日志

颇忒脱

发布于 2019-03-13 16:22:36

2.2K0

发布于 2019-03-13 16:22:36

文章被收录于专栏：颇忒脱的技术博客颇忒脱的技术博客

本文介绍使用Fluentd收集standalone容器日志的方法。

Docker提供了很多logging driver，默认情况下使用的json-file，它会把容器打到stdout/stderr的日志收集起来存到json文件中，docker logs所看到的日志就是来自于这些json文件。

当有多个docker host的时候你会希望能够把日志汇集起来，集中存放到一处，本文讲的是如何通过fluentd logging driver配合fluentd来达成这一目标。

目标：

将standalone容器打到stdout/stderror的日志收集起来
收集的日志根据容器名分开存储
日志文件根据每天滚动

第一步：配置Fluentd实例

首先是配置文件fluent.conf：

<source>
  @type   forward
</source>

<match *>

  @type              file

  path               /fluentd/log/${tag}/${tag}
  append             true
  <format>
    @type            single_value
    message_key      log
  </format>
  <buffer tag,time>
    @type             file
    timekey           1d
    timekey_wait      10m
    flush_mode        interval
    flush_interval    30s
  </buffer>
</match>

新建一个目录比如/home/ubuntu/container-logs，并赋予权限chmod 777 /home/ubuntu/container-logs。

然后启动Fluentd实例，这里使用的Docker方式：

docker run -it \
  -d \
  -p 24224:24224 \
  -v /path/to/conf/fluent.conf:/fluentd/etc/fluent.conf \
  -v /home/ubuntu/container-logs:/fluentd/log
  fluent/fluentd:v1.3

第二步：指定容器的logging driver

在启动容器的时候执行使用fluentd作为logging driver：

docker run -d \
  ...
  --log-driver=fluentd \
  --log-opt fluentd-address=<fluentdhost>:24224 \
  --log-opt mode=non-blocking \
  --log-opt tag={{.Name}} \
  <image>

第三步：观察日志

到/home/ubuntu/container-logs目录下能够看到类似这样的目录结构：

.
└── <container-name>
    └── <container-name>.20190123.log

参考文档

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

json

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度