flume-ng 使用spool source 传输文件到hdfs
flume-ng 使用spool source 传输文件到hdfs
Flume 1.4.0 User Guide 地址：http://archive.cloudera.com/cdh4/cdh/4/flume-ng-1.4.0-cdh4.6.0/FlumeUserGuide.html
本文档主要用来记录如何在日志服务器和hdfs服务器端利用flume-ng将已经写好的日志传输到hdfs。
一 安装与环境配置
下载地址 http://archive.cloudera.com/cdh4/cdh/4/flume-ng-latest.tar.gz ，使用chd4版本。
解压到服务器目录。
配置JAVA_HOME和PATH (具体路径参考实际情况)
declare -x JAVA_HOME="/usr/java/default"
export PATH=$JAVA_HOME:$PATH
export PATH=/home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/bin:$PATH
二 程序参数配置
flume-ng的程序参数主要通过修改各种配置文件实现。 (具体路径参考实际情况)
1 flume-ng默认程序最大内存为20m，打开解压文件路径下的/home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf/flume-env.sh.template文件
修改如下一行
#JAVA_OPTS="-Xms100m -Xmx200m -Dcom.sun.management.jmxremote" |
|---|
改为
JAVA_OPTS="-Xms64m -Xmx300m -Dcom.sun.management.jmxremote" |
|---|
将flume-env.sh.template重命名为flume-env.sh使配置生效。
2 配置source channel sink。
服务器端的配置文件conf.properties
日志服务器端的配置文件conf.properties
#define agent1 agent1.sources = source1 agent1.channels = channel1 agent1.sinks = sink1 #Describe the source agent1.sources.source1.type = spooldir # source 读取源日志的路径 agent1.sources.source1.spoolDir = /home/dongxiao.yang/flumespool #agent1.sources.source1.fileHeader =true #Describe the sink #agent1.sinks.sink1.type = logger agent1.sinks.sink1.type = avro #avro sink 发送数据的地址和端口 agent1.sinks.sink1.hostname= 218.241.157.74 agent1.sinks.sink1.port = 10000 # avro 数据发送前会进行压缩，共有1到9个级别的压缩 agent1.sinks.sink1.compression-type = deflate #Describe the channel agent1.channels.channel1.type = file #file channle checkpoint文件的路径 agent1.channels.channel1.checkpointDir = /home/dongxiao.yang/checkpoint # file channel data文件的路径 agent1.channels.channel1.dataDirs = /home/dongxiao.yang/data # file channel 每次传输事件的个数 agent1.channels.channel1.transactionCapacity = 10000 #file channel 最多储存事件的个数 agent1.channels.channel1.capacity= 10000000 #Bind the source and sink to the channel agent1.sources.source1.channels = channel1 agent1.sinks.sink1.channel = channel1 |
|---|
hdfs端的conf.properties
#define agent1.sources = source1 agent1.channels = channel1 agent1.sinks = sink1 #Describe the source agent1.sources.source1.type = avro # avro source 监听的地址和端口 agent1.sources.source1.bind = 0.0.0.0 agent1.sources.source1.port = 10000 # avro source 读取的数据是压缩过的，类型必须与 前一个 avro sink相同 agent1.sources.source1.compression-type =deflate #Describe the sink agent1.sinks.sink1.type = hdfs # 写入hdfs的路径 agent1.sinks.sink1.hdfs.path = /tmp/flume # 文件前缀 agent1.sinks.sink1.hdfs.filePrefix = test agent1.sinks.sink1.hdfs.rollCount = 0 agent1.sinks.sink1.hdfs.rollInterval=0 agent1.sinks.sink1.hdfs.rollSize=0 agent1.sinks.sink1.hdfs.batchSize=5000 #文件在完全没有流写入后60s关闭 agent1.sinks.sink1.hdfs.idleTimeout=60 #数据写入hdfs时进行压缩 agent1.sinks.sink1.hdfs.fileType = CompressedStream #数据写入hdfs时压缩的种类 agent1.sinks.sink1.hdfs.codeC = gzip # Use a channel which buffers events in memory agent1.channels.channel1.type = memory agent1.channels.channel1.capacity = 100000 agent1.channels.channel1.transactionCapacity = 5000 #Bind the source and sink to the channel agent1.sources.source1.channels = channel1 |
|---|
三 启动程序
运行程序位于解压文件/bin目录下。运行前需要先为flume-ng赋予可执行权限：chmod 777 flume-ng。
在bin目录下运行命令 ,程序即可执行。
flume-ng agent --conf /home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf --conf-file /home/dongxiao.yang/apache-flume-1.4.0-cdh4.6.0-bin/conf/conf.properties
--name agent1 -Dflume.root.logger=INFO,DAILY -Duser.timezone=UTC+8
其中 --conf 对应的是配置文件目录
--conf-file 对应配置文件
--name 对应配置文件内的angent的名字
-D对应日志以及运行时区