【004】-Flume Source之Kafka

Kafka Source是指Apache Kafka消费者从Kafka主题中读取消息,如果有多个Kafka Source运行,则可以将他们配置在同一个消费组里面。

对于线上业务系统来说,有的时候需要对大量的数据进行统计,如果直接将数据保存到本地文件(例如使用log4j)可能会拖慢线上系统。那么,最好的方式是将大量的数据通过jms(例如:kafka)发送到消息服务器,消息中间件后面再对接flume来完成数据统计等需求。

接下来,我们来介绍一下flume 的kafka source。

一,属性

二,配置

#

agent.sources = a1

#

agent.channels = c1

#

agent.sinks = k1

# define source

# define channel

# define sink

#bin/flume-ng agent --conf conf --conf-file conf/kafka-source.conf --name agent -Dflume.root.logger=INFO,console

三,测试

启动程序,并给kafka的beardata主题发送消息

我们在Flume控制台中可以看到输出了我们订阅的主题的消息

以上就是Flume Kafka Source,下一篇我们将介绍Flume 自定义 Source。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181212G0ZGK100?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券