前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Fluem的安装及使用

Fluem的安装及使用

作者头像
z小赵
发布2018-09-05 15:31:34
1.1K0
发布2018-09-05 15:31:34
举报
文章被收录于专栏:简单聊聊Spark

1.下载flume1.6.0,下载地址:http://archive.apache.org/dist/flume/

2.减压,在conf目录下修改flume-env.sh文件,将java的安装目录配置进去

3.编写flume的agent,在conf目录下创建一个名为a1.conf,内容如下:

#创建agent,为source,channel,sinks指定名称 a1.sources = r1 a1.channels = c1 a1.sinks = k1 #创建source,这里采用netcat的模式,即通过telnet的方式 a1.sources.r1.type = netcat #指定主机名 a1.sources.r1.bind = master #指定端口号 a1.sources.r1.port = 44444 #创建channel,指定为memory的方式存储channel内容 a1.channels.c1.type = memory #可选参数,指定channel的最大可容纳的event数量 a1.channels.c1.capacity = 1000 #可选参数,指定一次传输给sink的字节数 a1.channels.c1.transactionCapacity = 1000 #创建sink,并指定以logger的方式输出 a1.sinks.k1.type = logger #可选参数,指定一次输出的最大字节数 a1.sinks.k1.maxBytesToLog = 1024 #将source,sink连接到channel上 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1

4.如果没有安装telnet,则先安装telnet,若已经安装了,可跳过这一步,安装的软件如下图所示,文章末尾会给出下载地址:

安装命令为:

chmod u+x ./*            给要安装的软件附执行权限 rpm -ivh ./*.rpm          这里偷懒,直接一键安装了所有软件 /etc/rc.d/init.d/xinetd   restart       重启telnet服务

5.启动fluem的agent,在fluem的减压目录下,运行如下命令启动:

bin/fluem-ng agent  --conf  conf  --name  a1  --conf-file  conf/a1.conf  -Dflume.root.logger=DEBUG,console

6.通过netstat查看是否启动了指定的端口,这里是44444:

netstat  -tnlp

7.启动telnet,发送消息,看flume是否能接受到消息:

telnet master 44444

至此,fluem的安装搭建及测试完成,欢迎大家批评指正!!!


telnet下载地址:

链接:http://pan.baidu.com/s/1dFs5Snn  密码:gzpy


fluem的官方参考wiki地址:

http://flume.apache.org/FlumeUserGuide.html#logger-sink

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017.10.03 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档