学习
实践
活动
专区
工具
TVP
写文章

Flume(五)Flume拓扑结构

简单拓扑结构 这种模式是将多个flume顺序连接起来了,从最初的source开始到最终sink传送的目的存储系统。 此模式不建议桥接过多的flume数量, flume数量过多不仅会影响传输速率,而且一旦传输过程中某个节点flume宕机,会影响整个传输系统。 image.png 复制和多路复用 Flume支持将事件流向一个或者多个目的地。 image.png 负载均衡和故障转移 Flume支持使用将多个sink逻辑上分到一个sink组,sink组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能。 用flume的这种组合方式能很好的解决这一问题,每台服务器部署一个flume采集日志,传送到一个集中收集日志的flume,再由此flume上传到hdfs、hive、hbase等,进行日志分析。

18441
  • 广告
    关闭

    热门业务场景教学

    个人网站、项目部署、开发环境、游戏服务器、图床、渲染训练等免费搭建教程,多款云服务器20元起。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    flume简介

    参考 Flume架构以及应用介绍 一.简介 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据 ;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 image.png 二.主要功能 1.日志收集 Flume最早是Cloudera提供的日志收集系统,目前是Apache下的一个孵化项目,Flume支持在日志系统中定制各类数据发送方,用于收集数据。 2.数据处理 Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力 Flume提供了从console(控制台)、RPC(Thrift-RPC)、text(文件)、tail(UNIX image.png 三.Flume架构 Flume使用agent来收集日志,agent包括三个组成部分: source:收集数据 channel:存储数据 sink :输出数据 Flume使用source

    27720

    Flume学习笔记

    flume学习笔记 一、什么是Flume?      二、flume特性     Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。      一般的采集需求,通过对flume的简单配置即可实现     Flume针对特殊场景也具备良好的自定义扩展能力,因此,flume可以适用于大部分的日常数据采集场景 三、flume组件解析      对于每一个Agent来说,它就是一共独立的守护进程(JVM),它从客户端接收数据     1、Flume分布式系统中最核心的角色是agent,flume采集系统就是由一个个agent所连接起来形成      将flume-env.sh.template  改为 flume-env.sh         在里面配置JAVA_HOME 五、测试     创建一个myconf文件夹,在里边写配置文件

    67830

    扫码关注腾讯云开发者

    领取腾讯云代金券