专栏首页发哥说消息队列CKafka系列学习文章 - Filebeat对接CKafka(七)
原创

CKafka系列学习文章 - Filebeat对接CKafka(七)

导语:用CKafka作一个消息缓冲,用Filebeat收集日志,然后将日志传到Ckafka中。

一、Filebeat的介绍

Beats 平台 集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向目标发送采集数据。

Beats 有多种采集器,我们今天下载Filebeat。

二、下载解压

下载地址:https://www.elastic.co/cn/downloads/past-releases/

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.5.3-linux-x86_64.tar.gz

解压:filebeat-6.5.3-linux-x86_64.tar.gz

三、配置filebeat.yml文件

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/a.log         ###要监控的日志文件
setup.template.settings:
  index.number_of_shards: 3
output.kafka:
  hosts: ["10.1.3.90:9092"]  ###接入方式所用的IP和端口
  topic: 'topic_test1'       ###topic实例名
  partition.round_robin:
    reachable_only: false
  required_acks: 1
  compression: none
  max_message_bytes: 10000000

四、运行

运行以下命令,启动客户端。

nohup ./filebeat -e -c filebeat.yml &

五、为监控文件增加数据

六、上传Kafka的客户端消费消息

kafka_2.10-0.10.2.0.tar

解压:

/opt/kafka_2.10-0.10.2.0/bin/kafka-console-consumer.sh --bootstrap-server 10.1.3.90:9092 --from-beginning --new-consumer --topic topic_test1

消息消费成功。

FAQ:

1,加了用户名和密码时:

通不过SASL的验证:

2,没加compression: none

消息内容与其CRC不匹配:

3,filebeat的兼容性

filebeat 5.6的output 支持 Kafka 0.8, 0.9, and 0.10.的服务端版本

filebeat 6.5 的output works with all Kafka versions in between 0.11 and 2.0.0.

Older versions might work as well, but are not supported

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CMQ系列学习文章 - topic消息过滤类型使用说明( 一 )

    导语:首先这里的标签跟资源标签无关,资源标签是对queue进行分类,便于识别、查询和管理。

    发哥说消息队列
  • CKafka系列学习文章 - CKafka场景案例(五)

    导语:当我们的公司在不断发展时,业务也是遍布全国或者已经国际化了,公司内部的各种系统也是越来越多,还要对接其它公司的系统,来实现公司业务的正常运转。这时我们通常...

    发哥说消息队列
  • CKafka系列学习文章 - CKafka界面管理(四)

    导语:在使用的过程中,我们总是需要根据自己公司的业务场景去调整服务端的参数配置和监控参数,接下来我们一起来看看如何配置。

    发哥说消息队列
  • 自定义SAP Spartacus Cart界面

    把这个B2cStorefrontModule改成StorefrontModule,因为后者不会提供一些default配置,所以运行时会有很多关于default ...

    Jerry Wang
  • T4 级老专家:AIOps 在腾讯的探索和实践

    我今天要讲的主题,AIOps,是一个比较新的话题,其实从概念的提出到我们做,只有差不多一年的时间。一个新事物,有其发展的周期,在腾讯里面我们做了比较多的探索,但...

    旺仔小小鹿 .
  • MAC:外接其他接盘设置f1——f12功能键位

    MAC 外接接盘f1到f12的功能键不能用,推荐软件:Karabiner 链接在此

    菜菜不吃蔡
  • TensorFlow2.0(10):加载自定义图片数据集到Dataset

    前面的推文中我们说过,在加载数据和预处理数据时使用tf.data.Dataset对象将极大将我们从建模前的数据清理工作中释放出来,那么,怎么将自定义的数据集加...

    统计学家
  • App上架App Store

    你用公司的账号申请个证书,然后打包的时候什么.p12文件秘钥啥的都填上打完包,就直接丢审核就好了呀,有啥要求的直接公司账号扣了,与你无瓜

    达达前端
  • 领域建模-总结

    随着业务的变化、系统设计也要演进升级。好的架构设计一定演化来的,不是一开始就设计出来的,但系统演进过程中的成本,一定是最开始的设计决定的。一个健康公司的成长,业...

    快乐的技术人
  • XenMobile 9.0 完全部署指南之安装第一台 DeviceManager--04

      经过前期的证书与数据库准备,接下来我们可以开始XenMobile的正式安装了,XenMobile2个组件,我们首先介绍DeviceManager的安装,该组...

    SuperDream

扫码关注云+社区

领取腾讯云代金券