专栏首页简单聊聊SparkFluem的安装及使用

Fluem的安装及使用

1.下载flume1.6.0,下载地址:http://archive.apache.org/dist/flume/

2.减压,在conf目录下修改flume-env.sh文件,将java的安装目录配置进去

3.编写flume的agent,在conf目录下创建一个名为a1.conf,内容如下:

#创建agent,为source,channel,sinks指定名称 a1.sources = r1 a1.channels = c1 a1.sinks = k1 #创建source,这里采用netcat的模式,即通过telnet的方式 a1.sources.r1.type = netcat #指定主机名 a1.sources.r1.bind = master #指定端口号 a1.sources.r1.port = 44444 #创建channel,指定为memory的方式存储channel内容 a1.channels.c1.type = memory #可选参数,指定channel的最大可容纳的event数量 a1.channels.c1.capacity = 1000 #可选参数,指定一次传输给sink的字节数 a1.channels.c1.transactionCapacity = 1000 #创建sink,并指定以logger的方式输出 a1.sinks.k1.type = logger #可选参数,指定一次输出的最大字节数 a1.sinks.k1.maxBytesToLog = 1024 #将source,sink连接到channel上 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1

4.如果没有安装telnet,则先安装telnet,若已经安装了,可跳过这一步,安装的软件如下图所示,文章末尾会给出下载地址:

安装命令为:

chmod u+x ./*            给要安装的软件附执行权限 rpm -ivh ./*.rpm          这里偷懒,直接一键安装了所有软件 /etc/rc.d/init.d/xinetd   restart       重启telnet服务

5.启动fluem的agent,在fluem的减压目录下,运行如下命令启动:

bin/fluem-ng agent  --conf  conf  --name  a1  --conf-file  conf/a1.conf  -Dflume.root.logger=DEBUG,console

6.通过netstat查看是否启动了指定的端口,这里是44444:

netstat  -tnlp

7.启动telnet,发送消息,看flume是否能接受到消息:

telnet master 44444

至此,fluem的安装搭建及测试完成,欢迎大家批评指正!!!


telnet下载地址:

链接:http://pan.baidu.com/s/1dFs5Snn  密码:gzpy


fluem的官方参考wiki地址:

http://flume.apache.org/FlumeUserGuide.html#logger-sink

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Spark内核分析之Worker原理分析

            接着上篇的Schedule调度内容,本篇我们来看看Driver,Application向Worker发送launch以后到底发生了什么。先来看看...

    z小赵
  • Kafka系列9:面试题是否有必要深入了解其背后的原理?我觉得应该刨根究底(上)

    在本文开始之前,作者一直有个疑惑,就是面试题是只写写问题和答案就草草了事,还是应该深入分析一下其背后发生的一些原理。和朋友探讨以后作者还是决定采用后者的方式,因...

    z小赵
  • Kafka系列9:面试题是否有必要深入了解其背后的原理?我觉得应该刨根究底(上)

    在本文开始之前,作者一直有个疑惑,就是面试题是只写写问题和答案就草草了事,还是应该深入分析一下其背后发生的一些原理。和朋友探讨以后作者还是决定采用后者的方式,因...

    z小赵
  • 洛谷 || 单词覆盖还原(C语言)

    小Bob来啦
  • 数据仓库实战 2

    首先我们从实时生成的日志文件通过flume采集到kafka中。log日志的格式是app-yyyy-mm-dd.log

    soundhearer
  • 大数据- Flume经典案例

    A、B两台日志服务机器实时生产日志主要类型为access.log、nginx.log、web.log 现在要求:

    cwl_java
  • 1477: 青蛙的约会

    1477: 青蛙的约会 Time Limit: 2 Sec  Memory Limit: 64 MB Submit: 261  Solved: 164 [Sub...

    HansBug
  • storm基础系列之五---------接入数据收集系统flume

    1.基本结构介绍   flume是三层架构,agent,collector,storage。每一层都可水平扩展。   其中,agent就是数据采集方;colle...

    小端
  • 常见的几种Flume日志收集场景实战

      这里主要介绍几种常见的日志的source来源,包括监控文件型,监控文件内容增量,TCP和HTTP。 Spool类型   用于监控指定目录内数据变更,若有新文...

    欢醉
  • Flume如何使用SpoolingDirSource和TailDirSource来避免数据丢失的风险?

    execsource和异步的source一样,无法在source向channel中放入event故障时(比如channel的容量满了),及时通知客户端,暂停生成...

    爱学习的孙小白

扫码关注云+社区

领取腾讯云代金券