flume配置实例

Flume agent的配置保存在配置文件中,同一个文件中可以同时配置多个agent。每个agent都需要配置source、channel、sink的信息。

配置文件

配置文件编写的步骤:

  • 从整体上描述代理agent中sources、sinks、channels所涉及到的组件
    # Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
  • 详细描述agent中每一个source、sink与channel的具体实现
    # Describe/configure the source
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = localhost
    a1.sources.r1.port = 44444

    # Describe the sink
    a1.sinks.k1.type = logger

    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
  • 通过channel将source与sink连接起来
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

启动服务

输入以下命令:

flume-ng  agent -n a1  -c  ../conf   -f  ../conf/example.file   
-Dflume.root.logger=DEBUG,console  

参数说明:

  • -n 指定agent名称(与配置文件中代理的名字相同)
  • -c 指定flume中配置文件的目录
  • -f 指定配置文件
  • -Dflume.root.logger=DEBUG,console 设置日志等级

发送数据

使用telnet发送数据:

image.png

然后再flume控制台就可以看到输出的结果:

image.png

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏颇忒脱的技术博客

利用VisualVm和JMX远程监控Java进程

在前一篇文章里我们发现通过jstatd + VisualVm的方式,不能获得Java进程的CPU、线程、MBean信息,这时JMX就要登场了。

2271
来自专栏Albert陈凯

mac系统安装和配置redis

去官网下载安装文件 https://redis.io/download 我下载的是redis-3.2.8版本 wget http://download.redi...

2856
来自专栏阿杜的世界

Spring Boot:定制servlet filters

在实际的web应用程序中,经常需要在请求(request)外面增加包装用于:记录调用日志、排除有XSS威胁的字符、执行权限验证等等。除了上述提到的之外,Spri...

931
来自专栏Java学习123

Spring Boot发布与部署 - 开发热部署

3046
来自专栏Java成神之路

Spring_总结_03_装配Bean(二)之Java配置

上一节提到,装配Bean有三种方式,首先推荐自动装配。当自动装配行不通时,就需要采用显示配置的方式了。

833
来自专栏JAVA同学会

Spring Cloud配置中心(Config)

Spring Cloud是现在流行的分布式服务框架,它提供了很多有用的组件。比如:配置中心、Eureka服务发现、

2392
来自专栏有困难要上,没有困难创造困难也要上!

编译Kettle的PDI DB Dialog模块失败

检查了一下下面的地址,发现其下没有小写i的目录,只有大写I的目录,估计是这几天第三方包有改过名字所导致的。

1292
来自专栏大数据-Hadoop、Spark

Flume的安装与综合使用

Flume + Kafka基本是日志实时采集的标准搭档了。 本篇文章基于Flume-ng-1.6.0-cdh5.7.0 + CentOS6.7 + JDK1...

2786
来自专栏dalaoyang

分布式配置

分布式配置:配置管理工具包,让你可以把配置放到远程服务器,集中化管理集群配置,目前支持本地存储、Git以及Subversion。 在生产环境,由于配置繁多,造成...

3777
来自专栏nummy

python 虚拟环境的使用

python3.3+已经支持虚拟环境,无需安装格外的包,通过以下命令即可创建虚拟环境:

1124

扫码关注云+社区

领取腾讯云代金券