Hadoop进级教程之-Flum 安装部署&拦截器和选择器

Flum 安装部署

拦截器

下面是一个配置拦截器的例子：

a1.sources = r1

a1.sinks = k1

a1.channels = c1

a1.sources.r1.interceptors = i1 i2

a1.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.HostInterceptor$Builder

a1.sources.r1.interceptors.i1.preserveExisting = false

a1.sources.r1.interceptors.i1.hostHeader = hostname

a1.sources.r1.interceptors.i2.type = org.apache.flume.interceptor.TimestampInterceptor$Builder

a1.sinks.k1.filePrefix = FlumeData.%{CollectorHost}.%Y-%m-%d

a1.sinks.k1.channel = c1

上述代码中，配置了两个名称为i1和i2的拦截器，i1拦截器的类型为HostInterceptor，i2拦截器的类型是TimestampInterceptor，拦截器的类型可以指定完整的类名，也可以指定拦截器的别名（此处指定的是完整类名）。event首先会被传递到HostInterceptor，经HostInterceptor返回后，传递给TimestampInterceptor。

选择器

我们已经知道，Flume Source组件可以将event写入多个Channel，而Channel选择器可以决定将event写入哪些Channel。

Flume内置两种Channel选择器，复制Channel选择器和多路Channel选择器，复制Channel选择器将同一个event发送到每个Channel，多路Channel选择器按照event头部（header）的配置将event发送到相应的Channel。如果Source的配置中没有指定选择器，默认使用复制Channel选择器。

1.复制Channel选择器

复制Channel选择器的常用配置属性解析如表

Channel选择器需要配置在Source组件中，下面是一个复制Channel选择器的配置示例：

2.多路Channel选择器

多路Channel选择器的常用配置属性解析如表

下面是一个多路Channel选择器的配置示例：

下一节我们进行flume各种souce下的实例演示,感谢继续关注