4.修改Morphline的配置文件，使用Morphline解析HBase表数据的功能。 5.另外还需要定义一个Lily Indexer的配置文件，对应到HBase的表以及Morphline文件。...6.然后启动Morphline作业，是一个MapReduce任务，它会首先读取存在HBase中的原始文件，然后开始创建Solr的全文索引，最终把索引也会保存到HDFS。 ?...4.准备Morphline与Lily Indexer配置文件 ---- 1.准备Morphline的配置文件 morphlines : [ { id : morphline1 importCommands...-- --> （可左右滑动） ?...2.使用Cloudera提供的Morphline工具，可以让你不需要编写一行代码，只需要通过使用一些配置文件就可以快速的对半/非机构化数据进行全文索引。
本文主要介绍如何使用Morphline工具通过Flume实时的对数据建立全文索引。...3.修改Morphline的配置文件，使用Morphline解析json的功能。...配置文件中配置，大家可以继续往后查看Morphline配置文件章节进行对比。...This may take up to a minute. collection1 (2) （可左右滑动） 5.编辑Morphline配置文件 ---- 1.准备Morphline的配置文件...id : morphline1 # Import all morphline commands in these java packages and their subpackages.
内容概述 1.索引建立流程 2.准备数据 3.在Solr中建立collection 4.编辑Morphline配置文件 5.启动Morphline的MapReduce作业建立索引 6...3.修改Morphline的配置文件，使用Morphline解析json的功能。...This may take up to a minute. collection1 (2) （可左右滑动） 5.编辑Morphline配置文件 ---- 1.准备Morphline的配置文件...morphlines : [ { # Name used to identify a morphline....id : morphline1 # Import all morphline commands in these java packages and their subpackages.
a1.sinks.k1.channel = c1 a1.sinks.k1.morphlineFile = /etc/flume-ng/conf/morphline.conf # a1.sinks.k1....morphlineId = morphline1 # a1.sinks.k1.batchSize = 1000 # a1.sinks.k1.batchDurationMillis = 1000 12、...datacenter a1.sources.r1.interceptors.i1.value = NEW_YORK 5、Remove Header Interceptor 6、UUID Interceptor 7、Morphline...$Builder a1.sources.avroSrc.interceptors.morphlineinterceptor.morphlineFile = /etc/flume-ng/conf/morphline.conf...a1.sources.avroSrc.interceptors.morphlineinterceptor.morphlineId = morphline1 8、Search and Replace Interceptor
like Gecko" ^Z [1]+ Stopped tail_logs [root@quickstart ~]# stop_logs Flume and the morphline
| 存储数据到本地文件系统 Null Sink | 丢弃到所有数据 HBase Sink | 数据写入HBase数据库 Morphline... | 存储数据到本地文件系统 Null Sink | 丢弃到所有数据 HBase Sink | 数据写入HBase数据库 Morphline
然后发送到配置的RPC端口上 IRC Sink 数据在IRC上进行回放 File Roll Sink 存储数据到本地文件系统 Null Sink 丢弃到所有数据 HBase Sink 数据写入HBase数据库 Morphline
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
