4.修改Morphline的配置文件,使用Morphline解析HBase表数据的功能。 5.另外还需要定义一个Lily Indexer的配置文件,对应到HBase的表以及Morphline文件。...6.然后启动Morphline作业,是一个MapReduce任务,它会首先读取存在HBase中的原始文件,然后开始创建Solr的全文索引,最终把索引也会保存到HDFS。 ?...4.准备Morphline与Lily Indexer配置文件 ---- 1.准备Morphline的配置文件 morphlines : [ { id : morphline1 importCommands...-- --> (可左右滑动) ?...2.使用Cloudera提供的Morphline工具,可以让你不需要编写一行代码,只需要通过使用一些配置文件就可以快速的对半/非机构化数据进行全文索引。
本文主要介绍如何使用Morphline工具通过Flume实时的对数据建立全文索引。...3.修改Morphline的配置文件,使用Morphline解析json的功能。...配置文件中配置,大家可以继续往后查看Morphline配置文件章节进行对比。...This may take up to a minute. collection1 (2) (可左右滑动) 5.编辑Morphline配置文件 ---- 1.准备Morphline的配置文件...id : morphline1 # Import all morphline commands in these java packages and their subpackages.
内容概述 1.索引建立流程 2.准备数据 3.在Solr中建立collection 4.编辑Morphline配置文件 5.启动Morphline的MapReduce作业建立索引 6...3.修改Morphline的配置文件,使用Morphline解析json的功能。...This may take up to a minute. collection1 (2) (可左右滑动) 5.编辑Morphline配置文件 ---- 1.准备Morphline的配置文件...morphlines : [ { # Name used to identify a morphline....id : morphline1 # Import all morphline commands in these java packages and their subpackages.
a1.sinks.k1.channel = c1 a1.sinks.k1.morphlineFile = /etc/flume-ng/conf/morphline.conf # a1.sinks.k1....morphlineId = morphline1 # a1.sinks.k1.batchSize = 1000 # a1.sinks.k1.batchDurationMillis = 1000 12、...datacenter a1.sources.r1.interceptors.i1.value = NEW_YORK 5、Remove Header Interceptor 6、UUID Interceptor 7、Morphline...$Builder a1.sources.avroSrc.interceptors.morphlineinterceptor.morphlineFile = /etc/flume-ng/conf/morphline.conf...a1.sources.avroSrc.interceptors.morphlineinterceptor.morphlineId = morphline1 8、Search and Replace Interceptor
| 存储数据到本地文件系统 Null Sink | 丢弃到所有数据 HBase Sink | 数据写入HBase数据库 Morphline... | 存储数据到本地文件系统 Null Sink | 丢弃到所有数据 HBase Sink | 数据写入HBase数据库 Morphline
然后发送到配置的RPC端口上 IRC Sink 数据在IRC上进行回放 File Roll Sink 存储数据到本地文件系统 Null Sink 丢弃到所有数据 HBase Sink 数据写入HBase数据库 Morphline
领取专属 10元无门槛券
手把手带您无忧上云