专栏首页nummyflume配置实例

flume配置实例

Flume agent的配置保存在配置文件中,同一个文件中可以同时配置多个agent。每个agent都需要配置source、channel、sink的信息。

配置文件

配置文件编写的步骤:

  • 从整体上描述代理agent中sources、sinks、channels所涉及到的组件
    # Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
  • 详细描述agent中每一个source、sink与channel的具体实现
    # Describe/configure the source
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = localhost
    a1.sources.r1.port = 44444

    # Describe the sink
    a1.sinks.k1.type = logger

    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
  • 通过channel将source与sink连接起来
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

启动服务

输入以下命令:

flume-ng  agent -n a1  -c  ../conf   -f  ../conf/example.file   
-Dflume.root.logger=DEBUG,console  

参数说明:

  • -n 指定agent名称(与配置文件中代理的名字相同)
  • -c 指定flume中配置文件的目录
  • -f 指定配置文件
  • -Dflume.root.logger=DEBUG,console 设置日志等级

发送数据

使用telnet发送数据:

image.png

然后再flume控制台就可以看到输出的结果:

image.png

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • pydoc用法简介

    python中pydoc模块可以从python代码中获取docstring,然后生成帮助信息。

    用户2936342
  • python 命令行选项

    一般的,我们使用python执行x.py代码的时候,不需要添加任何命令行选项参数,但是其实了解下这些选项对我们的开发还是有很大帮助的。 python有如下命令...

    用户2936342
  • 进程监控利器supervisor

    安装成功之后,运行echo_supervisord_conf就会输出一个配置的样本,因此可以执行以下命令来创建配置文件。

    用户2936342
  • Flume配置

    a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2

    悠扬前奏
  • <video>标签

    Html5知典
  • <audio>标签

    <audio> 标签用于音频内容,可以包含多个音频资源。浏览器会自动选择最合适的一个来用。

    Html5知典
  • CUDA 多进程服务工具MPS为啥这么有用?

    多进程服务(MPS)是CUDA应用程序编程接口(API)的另一种二进制兼容实现。MPS运行时架构被设计成透明地启用协作的多进程CUDA应用程序(通常是MPI作业...

    GPUS Lady
  • 什么是软件定义网络(SDN介绍)

    SDN字面意思是软件定义网络,其试图摆脱硬件对网络架构的限制,这样便可以像升级、安装软件一样对网络进行修改,便于更多的APP(应用程序)能够快速部署到网络上。

    木禾wen
  • C++指针与引用的区别

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/articl...

    大黄大黄大黄
  • 只因写了一段爬虫,公司200多人被抓!

    刚从朋友听到这个消息的时候,我有点不太相信,做为一名程序员来讲,谁还没有写过几段爬虫呢?只因写爬虫程序就被端有点夸张了吧。

    谭庆波

扫码关注云+社区

领取腾讯云代金券