我有一个猪作业,它分析大量日志文件,并在一组属性和具有这些属性的一袋I之间生成关系。我想将这种关系存储在HDFS上,但我希望这样做对其他Hive/ pig /MapReduce作业对数据或数据子集的操作是友好的,而不必摄入我的猪作业的全部输出,因为这是大量的数据。
例如,如果我的关系模式类似于:
relation: {group: (attr1: long,attr2: chararray,attr3: chararray),ids: {(id: chararray)}}我非常希望能够对这些数据进行分区,并将其存储在如下文件结构中:
/results/attr1/attr2/attr3/file(s)其中路径中的attrX值是来自组的值,并且文件仅包含ids。这将使我能够轻松地将数据子集用于后续分析,而不会重复数据。
即使使用自定义StoreFunc,这样的事情也是可能的吗?为了实现这个目标,我应该采取什么不同的方法呢?
我对猪很陌生,所以任何关于我的方法的帮助或一般性建议都会受到极大的感谢。
提前谢谢。
发布于 2014-07-08 18:43:46
多重存储并不完全适合我所做的工作,但事实证明,它是一个很好的例子,说明了如何编写一个自定义StoreFunc来写入多个分区输出文件。我下载了Pig源代码并创建了自己的存储函数,该函数解析组元组,使用每个项构建HDFS路径,然后解析ID包,将每一行ID写入结果文件。
https://stackoverflow.com/questions/24460190
复制相似问题