首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何使用Pig将数据存储在HDFS上的多个分区文件中

如何使用Pig将数据存储在HDFS上的多个分区文件中
EN

Stack Overflow用户
提问于 2014-06-27 20:20:28
回答 1查看 1K关注 0票数 3

我有一个猪作业,它分析大量日志文件,并在一组属性和具有这些属性的一袋I之间生成关系。我想将这种关系存储在HDFS上,但我希望这样做对其他Hive/ pig /MapReduce作业对数据或数据子集的操作是友好的,而不必摄入我的猪作业的全部输出,因为这是大量的数据。

例如,如果我的关系模式类似于:

代码语言:javascript
运行
复制
relation: {group: (attr1: long,attr2: chararray,attr3: chararray),ids: {(id: chararray)}}

我非常希望能够对这些数据进行分区,并将其存储在如下文件结构中:

代码语言:javascript
运行
复制
/results/attr1/attr2/attr3/file(s)

其中路径中的attrX值是来自组的值,并且文件仅包含ids。这将使我能够轻松地将数据子集用于后续分析,而不会重复数据。

即使使用自定义StoreFunc,这样的事情也是可能的吗?为了实现这个目标,我应该采取什么不同的方法呢?

我对猪很陌生,所以任何关于我的方法的帮助或一般性建议都会受到极大的感谢。

提前谢谢。

EN

Stack Overflow用户

回答已采纳

发布于 2014-07-08 18:43:46

多重存储并不完全适合我所做的工作,但事实证明,它是一个很好的例子,说明了如何编写一个自定义StoreFunc来写入多个分区输出文件。我下载了Pig源代码并创建了自己的存储函数,该函数解析组元组,使用每个项构建HDFS路径,然后解析ID包,将每一行ID写入结果文件。

票数 1
EN
查看全部 1 条回答
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/24460190

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档