首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Flume 整体介绍

Flume 数据采集         概述:             Flume 是一个数据采集工具,主要可以理解为对日志数据或者其他数据的采集。可以对例如日志数据进行采集传输到我们想要传输的地方,比如从本地文件系统采集数据到HDFS的HIVE目录下获取HDFS的其他目录,提供HIVE进行数据分析。             Flume运行方式为Agent Flume,如果有多个数据源,并且文件系统,则需要启动多个Agent Flume 进行数据采集。         组成:             Flume有三大组件:Source,Channel,Sink,             Source:指定采集数据源,类型:spooldir(本地系统),MySql,                 Source 不仅仅可以定义数据源信息,还可以定义检索文件类型,或者自定义文件获取方式             Channel:通道,通过Channel连接Source和Sink,中间作缓冲,提供适配,类型:Memery,File,JDBC                 Channel 还可以指定文件缓存大小             Sink:指定数据输出目标系统,类型:HDFS,Hive,HBase                 如果Sink输出为HDFS,Hive,则还可以指定文件大小,文件前后缀,文件读写周期等。         安装:             1. 解压Flume安装包             2. 配置系统配置文件 flume-site.xml(FADOOP_HOME,HDFS_HOME,ZooKeeper_HOME),之所以分开是因为Flume是Cloudra提供的,他把HDFS与MapReduce分开了,他提供了整合了的HADDOOP 大数据平台运行框架,更加方便部署。也有可能需要指定HBASE,HIVE等。             3. 配置数据采集业务配置文件  ***.xml             4. 启动Flume         运行机制:Flume通过Agent 方式运行数据采集,可以部署在多台机器,主要根据数据源存储形态来具体决定,如果数据源为多个文件系统,则需要运行多套Agent来采集,如果数据源为Mysql,则一个Agent就够了。Flume通过配置文件定义数据的采集-Source阶段,数据缓存-Channel阶段,及数据发送-Sink阶段。首先Source读取数据文件到Channel,Channel缓存起来,达到触发条件(触发条件自己定义或者默认)则会发动到Sink端进行保存,Sink端对发送的数据也定义定,包括存储文件大小,名称,前后缀等。         重点:             业务配置文件 ***.xml : 一个xml文件里面可以定制多套 FCS流程,即在定义时可以同时存在几套FCS流程在XML文件中,我们在启动Flume时需要指定FCS流程的名称来区分             多级Agent:我们可以指定多个Agent进行关联操作,即一个Agent的Sink输出为另一个Agent的Source输入。             比如Agent1为Agent2 提供输入,则Agent1 输出类型为:Avro Source,Qgent1的输入类型可以为任何允许的输出,Agent2的 输入类型为 :Avro SinK,Agent2的输出类型为允许的任何输出。             Flume是基于事务的,可以保证数据的传输时发送与接受的一致性。         Sample:

01

那些年我们一起学XSS - 14. Flash Xss入门 [navigateToURL]

1. 首先,第一步,我们需要找到存在缺陷的FLASH文件。如何找到这类文件呢?最好的办法,当然是GOOGLE搜索。但是其实很多人是不太会用搜索引擎。或者知道怎么用,但是不知道该如何搜索关键词。因而教程的开始,我们来说一说,如何搜索关键词。 2. 基本语句肯定是 site:qq.com filetype:swf 意思是,限定域名为qq.com 文件类型为FLASH文件。 3. 显然这样会搜索出很多FLASH文件,不利于我们后续的漏洞查找,所以我们需要输入某个关键词来进一步缩小范围。这里我列举一些寻找关键词的方式。 3.1 已知存在缺陷的FLASH文件名或参数名,如:swfupload,jwplayer等 3.2 多媒体功能的FLASH文件名,如:upload,player, music, video等 3.3 调用的外部配置或数据文件后缀,如: xml, php 等 3.4 前期经验积累下来的程序员特征参数名用词,如: callback, cb , function 等 4. 结合以上经验,本例使用其中第三条: 我们搜索:site:qq.com filetype:swf inurl:xml 可以找到这个FLASH

03

java学习与应用(5.1)--Mybatis

mybatis框架,java持久层框架,ORM(Object Relational Mapping对象关系映射)思想实现结果集封装。 三层架构(表现层展示数据,业务层实现业务需求,持久层和数据库交互[JDBC技术规范、Spring的Template和Apache的DBUtils工具类,都不属于框架]) maven的pom.xml下的packaging为打包方式,其他依赖代码可以通过官网复制。 创建实体类和dao接口,在resources包下的SqlMapConfig.xml中进行mybatis的主配置文件,配置环境,事务类型,配置映射文件类型等。然后建立,IUserDao.xml(IUserMapper)中写入映射配置文件,定义结果值封装类型,语句等,建立的路径和main.java.xxx.xxx.IUserDao.java对应。 映射配置文件的mapper标签namespace属性的取值必须是dao接口的全限定类名,映射配置文件的操作配置(select) ,id属性的取值必须是dao接口的方法名。接口dao的实现类使用mybatis。 流程为:读取配置文件Resources.getResourceAsStream,创建SqlSessionFactory工厂,使用工厂生产SqlSession对象,使用SqlSession创建Dao的代理对象,使用代理对象执行方法,最后释放资源。见图 使用注解代替xml映射配置文件,在接口方法上使用@Select("sql语句")。

01
领券