专栏首页Fluentd学习交流Fluentd输入插件:in_forward用法详解

Fluentd输入插件:in_forward用法详解

in_forward插件通常用于从其他节点接收日志事件,这些节点包括其他Fluentd实例、fluent-cat命令行或者Fluentd客户端程序。这是目前效率最高的日志事件接收方法。

in_forward插件会在本地打开一个tcp监听socket,用于接收日志事件。同时,它也会开启一个udp端口用于接收和对端的心跳保活消息。

in_forward可接收json或MessagePack格式的数据,它会自动探测源数据是哪种格式。MessagePack是Fluentd内部使用的数据封装格式,因其效率高于json。

in_forward插件内置于Fluentd,无须安装。

  1. 示例配置 <source> @type forward port 24224 bind 0.0.0.0 </source>
  2. 参数说明
    1. 通用参数适用于in_forward插件
    2. @type 插件类型,取值为forward
    3. port(0.14.0(最低要求版本,下同)) 监听端口,默认为24224
    4. bind(0.14.0) 绑定的ip地址,默认为0.0.0.0
    5. tag(1.5.0) 设置事件的tag,默认使用源事件的tag
    6. add_tag_prefix(1.5.0) 向源事件tag前添加前缀 <source> @type forward add_tag_prefix prod </source> 如此配置,in_forward产生的事件tag为prod.INCOMING_TAG,比如prod.app.log。
    7. linger_timeout(0.14.0) 设置socket的close等待时长。
    8. resolve_hostname(0.14.10) 是否由ip解析主机名,默认false
    9. deny_keepalive(0.14.5) 是否禁用长连接,默认false
    10. send_keepalive_packet(1.4.2) 是否启动tcp保活,默认false
    11. chunk_size_limit(0.14.0) 指定接收数据的最大chunk大小, 超出最大值的chunk会被丢弃。 默认无限制。
    12. chunk_size_warn_limit(0.14.0): 指定接收数据的预警chunk大小, 超出预警值会发送告警信息。 默认不告警。
    13. skip_invalid_event(0.14.0) 是否跳过非法事件。
    14. source_address_key(0.14.11) 指定生成事件中来源ip的字段名, 默认不添加来源ip字段。
    15. source_hostname_key(0.14.4) 指定生成事件中来源主机名称的字段名, 默认不添加主机名字段。
    16. <transport>配置项 in_forward默认使用tcp传输数据。 不加密。 <transport>可开启ssl加密传输 <transport tls> cert_path /path/to/fluentd.crt # 这里还需要其他参数,请参见Fluentd官网说明 </transport>
  3. 其他事项
    1. Fluentd工作在多worker进程模式时,in_forward插件会共用监听端口。 <system> workers 3 </system> <source> @type forward port 24224 </source> 这里,24224端口接收的事件会被自动路由到3个worker进程中。
    2. in_forward主要是为了高效传输日志,并不像in_tail一样可以通过<parse>来配置对数据的解析方法。 如果想解析收到的数据,可在事件路由链中添加合适的过滤器。 我们会在后续的文章中了解过滤器的用法。

本文分享自微信公众号 - Fluentd学习交流(fluentd),作者:Fluentd中文网

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-05-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Fluentd输出插件:out_copy用法详解

    copy即复制,out_copy的作用就是将日志事件复制到多个输出,这样就可以对同一份日志做不同类型的分析处理。

    Fluentd中文网
  • Fluentd输出插件:rewrite_tag_filter用法详解

    我们在做日志处理时,往往会从多个源服务器收集日志,然后在一个(或一组)中心服务器做日志聚合分析。源服务器上的日志可能属于同一应用类型,也可能属于不同应用类型。

    Fluentd中文网
  • Fluentd输入插件:in_http用法详解

    in_http插件允许使用HTTP协议来采集日志事件。这个插件会建立一个支持REST风格的HTTP端点,来接收日志事件请求。

    Fluentd中文网
  • NotFoundError (see above for traceback): Restoring from checkpoint failed. This is most likely due t

    在训练并保存模型时遇到的错误,解决方法是在ckpt目录前面加个点就可以解决,如下图:

    于小勇
  • Django从1.8升级到1.11趟坑记录

    https://stackoverflow.com/questions/34348360/cannot-resolve-django-utils-log-nul...

    高木工
  • 分享一个关于Cookie做的实验结果

    去网上搜了下关于Cookie的介绍,看了好几篇都长得很一样,阉割一下内容不外乎说是"不同浏览器限制cookie数不同,大致在30-50这个范围,(前缀)浏览器允...

    丰臣正一
  • 支付宝二维码脱机认证库在android的app下测试过程记录

    今天收到了第三方库(支付宝的二维码脱机认证库,用来脱机验证支付宝的支付二维码),于是兴奋着调用一下试试,如果测试成功,那么做应用自然也没太大问题。

    特立独行的猫a
  • 支付宝二维码脱机认证库测试过程记录(andorid平台adb shell验证)

    最近在调试支付宝给提供的二维码脱机认证库,他们给提供了几个文档和 libposoffline.so库文件。

    特立独行的猫a
  • cisoco 与 H3C查ARP

    Apr 18 10:24:16.265: %IP-4-DUPADDR: Duplicate address 172.30.30.62 on Vlan711, s...

    py3study
  • 使用 github, gitbook, markdown 写博客/写书

            Github 是基于 开源代码管理工具 Git 的一个代码托管平台。Gitbook 是一个命令行工具,可以把你的 Markdown 文件汇集成电...

    s1mba

扫码关注云+社区

领取腾讯云代金券