5个Docker 1.8的Fluentd Logging Driver用例

这篇文章来自 Kiyoto Tamura。

Docker 1.8 最近刚被发布。1.8发行版中的主要特性之一就是它对Fluentd 作为日志收集驱动器的支持。 作为Fluentd的创造者，我们对这个进步真的很兴奋。引用 Simon Hørup Eskildsen最近博客里的一句话“为什么Docker还没有在产品上广泛的应用（Fluentd）？”：

一个可以从更早的改变中获益领域的一个例子就是日志收集。几乎没有一个特别的问题，但却存在一个普遍的问题。目前没有很好的通用的解决方案。在早期（原生环境下），他们按图索骥：追踪日志文件、登录到容器中、通过挂载的方式登录到主机、登录到主机的系统日志、通过类似Fluentd的组件去公开他们、直接从他们的应用程序中登录或者登录到文件并让另一个进程发送日志内容给Kafka。在1.6版本中，对日志驱动程序的支持被合并进内核中；然而，驱动程序不得不被接纳在内核中（这非常不容易）。在1.7版本中，对进程外插件的实验性支持被合并，但是令人失望的是它并没有附带日志驱动程序。我相信这点被计划进1.8版本，但是并没有在官方记录中找到。就这点来说，供应商能够编写自己的日志驱动程序。与社区分享将变得轻而易举，而且大型应用程序不再需要设计一个定制的解决方案。

因此，当Docker的Fluentd Logging Driver登陆时我们兴奋不已。我们十分兴奋地立即开始讨论怎样设置Fluentd作为一个Docker Logging Driver。

在这篇博客中，我们想回顾并总结一下这个新的Fluentd + Docker集成支持哪些用例。 毕竟，Fluentd在其生态系统中有300多个插件=）

用例1：将日志归档进Amazon S3

使用Fluentd的S3输出插件，用户可以归档所有的容器日志。通过智能地使用标签，容器的名字可以映射到buckets，并允许日志按比例组织起来。

你绝对不会知道这些日志什么时候会变得有用，所以今天开始归档他们吧。

用例2：用Elasticsearch做日志检索

使用Fluentd的Elasticsearch输出插件，您的所有Docker日志都会变得可检索。对于那些也许需要通过过期的容器日志文件来检索的运维工程师来说是十分便利的。

用例3：流式传输日志到数据处理后端

如果您想对您的原始容器日志做分析，则还可以通过HDFS输出插件将所有Docker容器日志发送到HDFS。一旦数据在HDFS中，您就可以运行任何HDFS下友好的数据处理引擎（例如：Hive，Presto，Spark，Flink，Impala等等，现在就是这么多！）一个无耻的插件：如果您不想要管理您的分析后端部分，您始终可以将您的Docker容器日志流式传输到Treasure Data。

用例4：流式传输日志到监控服务

如果大量的Redis容器都存在问题，那么您可能希望尽快的知道这个问题。您可以将您的容器日志流式传输到Datadog和Librato等监控服务。 如果你想保持内部的东西，Fluentd也支持这些。

用例5：编排框架

在容器编排框架中，Kubernetes早期采用Fluentd作为日志收集器。在当时，他们被迫采取的做法看起来非常荒谬（并不是他们的错而是Fluentd的问题），但是新版本的Fluentd Logging Driver，使得像Mesosphere和Docker Swarm这样的编排框架很容易将Fluentd捆绑到内核中去。

Satnam Singh撰写的“收集Kubernetes Pods容器的输出”。

我们对Docker1.8感到非常兴奋。巨大的支持来到Docker Core，让我们开心的集装箱化吧！

----------------------------------------------------------------------------------------

译者注：

①Log Driver 指容器日志的驱动程序，Docker默认使用的是 JSON 格式（json-file）。1.8版本中增加了对Fluentd的支持。