Fayson的github：https://github.com/fayson/cdhproject 1.文档编写目的 ---- 前面Fayson讲过《如何在Kerberos环境使用Flume采集Kafka...数据并写入HDFS》，本篇文章主要讲述如何在非Kerberos环境下将Kafka数据接入Flume并写入Hive表。...import java.io.FileInputStream; import java.util.Properties; /** * package: com.cloudera * describe: 非Kerberos...] 可以看到数据已写入flume_kafka_logs表中。...表或分区中写入数据，当分区不存在时Flume会自动创建。
在前面的文章Fayson也介绍了一些关于Flume的文章《非Kerberos环境下Kafka数据到Flume进Hive表》、《如何使用Flume准实时建立Solr的全文索引》、《如何在Kerberos环境使用...本篇文章Fayson主要介绍在Kerberos的CDH集群中使用Flume采集Kafka数据写入HBase。...为该目录下的文件授予755权限 [root@cdh03 flume-kerberos]# chown -R flume. * [root@cdh03 flume-kerberos]# chmod -R...注：这里flume-kerberos及目录下的文件可以不用集群所有节点均存在，至少要保证Flume服务所在节点存在，目录下的文件权限需要调整否则会出现一些莫名其妙的异常。...3.在配置Flume访问Kerberos环境的Kafka和HBase时需要为Flume的启动参数中增加jaas.conf指定Kerberos信息。
1.文档编写目的 ---- 在Kafka集群实际应用中，Kafka的消费者有很多种（如：应用程序、Flume、Spark Streaming、Storm等），本篇文章主要讲述如何在Kerberos环境使用...本文的数据流图如下： [fhfox33a5.jpeg] 内容概述 1.Kafka集群启用Kerberos 2.环境准备及配置Flume Agent 3.java访问并测试 测试环境 1.CM和CDH版本为...5.11.2 2.采用root用户操作 前置条件 1.集群已启用Kerberos 2.集群已安装Kafka 3.集群已安装Flume 2.Kafka集群启用Kerberos ---- 登录Cloudera...3.环境准备 ---- 由于Kafka集群已启用Kerberos认证，这里需要准备访问Kafka集群的环境，如Keytab、jaas.conf配置等 1.生成访问Kafka集群的keytab文件,在Kerberos.../flume-keytab/ [ec2-user@ip-172-31-21-45 flume-keytab]$ sudo chmod -R 755 /flume-keytab/ [sxpeb3e274.
简单拓扑结构 这种模式是将多个flume顺序连接起来了，从最初的source开始到最终sink传送的目的存储系统。...此模式不建议桥接过多的flume数量， flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点flume宕机，会影响整个传输系统。...image.png 复制和多路复用 Flume支持将事件流向一个或者多个目的地。...image.png 负载均衡和故障转移 Flume支持使用将多个sink逻辑上分到一个sink组，sink组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能。...用flume的这种组合方式能很好的解决这一问题，每台服务器部署一个flume采集日志，传送到一个集中收集日志的flume，再由此flume上传到hdfs、hive、hbase等，进行日志分析。
一、Flume简介 flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。...但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.9.4.... 及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳入 apache 旗下，cloudera Flume 改名为 Apache Flume...4.2、Flume数据流 1）Flume 的核心是把数据从数据源收集过来，再送到目的地。...4.3、Flume可靠性 Flume 使用事务性的方式保证传送Event整个过程的可靠性。
1 Flume丢包问题 单机upd的flume source的配置，100+M/s数据量，10w qps flume就开始大量丢包，因此很多公司在搭建系统时，抛弃了Flume，自己研发传输系统，但是往往会参考...一些公司在Flume工作过程中，会对业务日志进行监控，例如Flume agent中有多少条日志，Flume到Kafka后有多少条日志等等，如果数据丢失保持在1%左右是没有问题的，当数据丢失达到5%左右时就必须采取相应措施...2 Flume与Kafka的选取 采集层主要可以使用Flume、Kafka两种技术。 Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API。 ...Kafka和Flume都是可靠的系统,通过适当的配置能保证零数据丢失。然而，Flume不支持副本事件。...（选择性发往指定通道） 11 Flume监控器 1）采用Ganglia监控器，监控到Flume尝试提交的次数远远大于最终成功的次数，说明Flume运行比较差。主要是内存不够导致的。
Kerberos协议： Kerberos协议主要用于计算机网络的身份鉴别(Authentication), 其特点是用户只需输入一次身份验证信息就可以凭借此验证获得的票据(ticket-granting...条件 先来看看Kerberos协议的前提条件： 如下图所示，Client与KDC， KDC与Service 在协议工作前已经有了各自的共享密钥，并且由于协议中的消息无法穿透防火墙，这些条件就限制了Kerberos...过程 Kerberos协议分为两个部分： 1 ....Kerberos协议的重点在于第二部分，简介如下： ? 1． ...推荐资料： Kerberos的原理 Kerberos: An Authentication Service for Computer Networks Web Services Security系列文章
前言 本文是基础性文章，针对初次接触flume的朋友，简化了大部分内容，后续有时间会加上相关高级使用 为什么需要flume？...负载均衡：flume 是分布式，对于大数据收集有天然优势 对 hdfs 支持友好 灵活：flume 收集基于单个 agent，扩展方便灵活 flume 有什么优势？...优势都是相对而言，我们简单以 kafka 来对比： 组件灵活，可定制化高 数据处理能力相对较强 对hdfs 有特殊优化 开启一个简单的flume 这里我们先什么都不管，先来玩一下flume，感受一下flume...版本 下载 flume ：http://flume.apache.org/download.html 解压，得到如下目录 ?...flume一般架构 首先我们先来看一下 flume 的整体架构，官网架构图如下 ?
参考 Flume架构以及应用介绍 一.简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据...；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。...image.png 二.主要功能 1.日志收集 Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。...2.数据处理 Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX...image.png 三.Flume架构 Flume使用agent来收集日志，agent包括三个组成部分： source：收集数据 channel：存储数据 sink ：输出数据 Flume使用source
-1.7.0 上传到 /opt/software下 将apache-flume-1.7.0 解压到 /opt/module 下 ，将解压后的文件夹重命名为flume 将flume/conf/flume-env.sh.template...重命名为 flume-env.sh 修改flume-env.sh之前 修改flume-env.sh之后 案例一：flume监控本地hello.txt(某某.log)文件并且上传到HDFS 拷贝Hadoop...文件夹中创建的文件存在HDFS中合并成一个文件，并且本地文件上传成功的文件用.COMPLETED结尾 案例三：Flume 与 Flume 之间数据传递：单 Flume 多 Channel、 Sink 监控...,在启动23 bin/flume-ng agent --conf conf/ --name a1 --conf-file job/groupjob/flume1.conf bin/flume-ng agent...flume不能写入hdfs
1.6.0中，Thrift source和sink支持基于验证的kerberos。...在使用SecureRpcClientFactory的过程中，kerberos 认证模块属于flume-ng-auth的一部分，需要再classpath中配置。...客户端的principal和keytab都需要通过属性值作为参数传进去，他们反映了客户端通过kerberos KDC认证的资格。...authentication related properties props.setProperty("kerberos", "true"); props.setProperty("...public void cleanUp() { // Close the RPC connection client.close(); } } 远程ThriftSource需要再kerberos
“ Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。”...02 — Flume架构 Flume最简单的部署单元叫做Flume Agent，包括三个主要组件：Source、Channel、Sink； Source：Source负责获取事件到Flume Agent...Flume本身并不限制Agent中的Source、Channel、Sink数量，因此Flume支持将Source中的数据复制到多个目的地。...Sink组 Flume提供一种Sink组的概念，每个Sink组包含任意数量的Sink，在Sink组实现负载均衡和故障转移。...构建FLume时的几个关键点 Channel容量大小 整个数据采集系统分为多少层级，考虑Sink下游故障下，用什么方案继续缓冲数据 如何监控Flume运行情况，包括部署Agent的JVM内存、流量
Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景 当前Flume有两个版本： Flume 0.9X版本的统称Flume-og Flume1.X版本的统称...Flume-ng 由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分 运行机制 1、要想使用Flume，就需要运行Flume代理。...Flume的下载 下载地址https://flume.apache.org/download.html或http://archive.apache.org/dist/flume/ Flume的安装 Flume...cd flume-1.8.0/conf cp flume-env.sh.template flume-env.sh chmod 777 flume-env.sh 在flume-env.sh脚本中配置JAVA_HOME...=/opt/flume/flume-1.8.0 export PATH=$PATH:$FLUME_HOME/bin 保存后，加载生效 source /etc/profile 查看版本 flume-ng
“ Kerberos对大数据的一些服务的具体应用” 环境说明 Ambari 2.6.1.0 HDP 2.6.4 Kerberos 1.14.1 前言 前面的文章介绍了《Kerberos原理--经典对话》...、《Kerberos基本概念及原理汇总》、《基于ambari的Kerberos安装配置》、《Windows本地安装配置Kerberos客户端》，已经成功安装了Kerberos KDC server，也在...Ambari上启用了Kerberos，接下来我们再来研究一下如何使用Kerberos。...关于Kerberos的一些基础概念，可以戳《Kerberos基本概念及原理汇总》了解。 如果使用各服务的话，就需要进行Kerberos认证了。...在kerberos KDC所在机器并且当前用户是root上操作 访问Kerberos数据库： kadmin.local image.png 查看Kerberos principal： # 第一种方式，在
Flume 的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。...因此，flume 可以适用于大部分的日常 数据采集场景。 当前 Flume 有两个版本。...Flume 0.9X 版本的统称 Flume OG（ original generation），Flume1.X 版本的统称 Flume NG（next generation）。...由于 Flume NG 经过核心组件、核心配置以及代码架构重构，与 Flume OG 有很大不同，使用时请注意区分。...改动的另一原因是将 Flume 纳入 apache 旗下，Cloudera Flume 改名为 Apache Flume。
1.2 Flume组成架构 Flume组成架构如下图所示： ? Flume组成架构 ? 下面我们来详细介绍一下Flume架构中的组件。...1）案例需求：使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。...4．执行配置文件 分别开启对应配置文件：flume-flume-dir，flume-flume-hdfs，flume-file-flume。...，flume-flume-console1，flume-netcat-flume。...-flume-logger.conf，flume2-netcat-flume.conf，flume1-logger-flume.conf。
Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 ? Flume基础架构 ?...Source Source是负责接收数据到Flume Agent的组件。...Sink Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。...Event 传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。...Flume的核心概念 source ： 用户需要根据自己的数据源的类型，选择合适的source对象。 sink： 用户需要根据自己的数据存储的目的地的类型，选择合适的sink对象。
sinks.k1.channel=c1 a1.sinks.k1.hdfs.useLocalTimeStamp=true a1.sinks.k1.hdfs.path=hdfk://hadoop01:9000/flume...memeory 第3步：配置数据通道 define the channel c1 a1.channels.c1.type = file a1.channels.c1.checkpointDir=~/flume.../flumeCheckpoint a1.channels.c1.dataDirs=~/flume/flumeData , ~/flume/flumeDataExt a1.channels.c1.capacity
配置文件（采用KafkaSink作为kafka生产者） #创建并编辑文件名为flume_kafka01.conf配置文件 vim /root/flume/flume_kafka01.conf #创建flume...配置文件（采用KafkaSource作为kafka消费者） vim /root/flume/kafka_flume01.conf a1.sources = s1 a1.channels = c1 a1....sinks = k1 a1.sources.s1.type = org.apache.flume.source.kafka.KafkaSource a1.sources.s1.batchSize =...消费者 flume-ng agent -n a1 -c conf/ -f /root/flume/kafka_flume01.conf -Dflume.root.logger=INFO,console...启动flume生产者 flume-ng agent -n a1 -c conf/ -f /root/flume/flume_kafka02.conf -Dflume.root.logger=INFO,console
Hadoop Kerberos 提交YARN任务失败 diagnostics: Application application_1542706493784_0005 failed 2 times due
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
