Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。
Agent是一个JVM进程,它以事件的形式将数据从源头送至目的。
Agent主要有3个部分组成,Source
、Channel
、Sink
。
Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据,包括avro
、thrift、exec
、jms、spooling directory
、netcat
、sequence generator、syslog、http、legacy。
Sink不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
Sink组件目的地包括hdfs
、logger
、avro
、thrift、ipc、file
、HBase
、solr、自定义。
Channel是位于Source和Sink之间的缓冲区。因此,Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的,可以同时处理几个Source的写入操作和几个Sink的读取操作。
Flume自带两种Channel:Memory Channel
和File Channel
。
传输单元,Flume数据传输的基本单元,以Event的形式将数据从源头送至目的地。Event由Header
和Body
两部分组成,Header用来存放该event的一些属性,为K-V结构,Body用来存放该条数据,形式为字节数组。
source
: 用户需要根据自己的数据源的类型,选择合适的source对象。sink
: 用户需要根据自己的数据存储的目的地的类型,选择合适的sink对象。Interceptors
(拦截器): 在source将event放入到channel之前,调用拦截器对event进行拦截和处理Channel Selectors
: 当一个source对接多个channel时,由 Channel Selectors选取channel将event存入。sink processor
: 当多个sink从一个channel取数据时,为了保证数据的顺序,由sink processor从多个sink中挑选一个sink,由这个sink开始。