文章/答案/技术大牛

发布

社区首页 >问答首页 >将avro文件合并为一个

问将avro文件合并为一个
EN

Stack Overflow用户

提问于 2014-09-18 16:16:37

回答 1查看 3.1K关注 0票数 0

我想将小的avro文件合并到一个avro文件中，保持相同的模式，使用pig。

我试过这样做：

REGISTER avro-1.7.2.jar

a = load '$SOURCE' using org.apache.pig.piggybank.storage.avro.AvroStorage ();
store a into '$TARGET' using org.apache.pig.piggybank.storage.avro.AvroStorage ();

但是失败了，但有以下错误：

ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1070: Could not resolve org.apache.pig.piggybank.storage.avro.AvroStorage using imports: [, org.apache.pig.builtin., org.apache.pig.impl.builtin.]

如何使用pig将小的avro文件合并成一个文件？

apache-pig

avro

hadoop

回答 1

Stack Overflow用户

回答已采纳

发布于 2014-09-20 09:07:47

首先，AvroStorage是piggybank的一部分，所以您也需要注册piggybank.jar。

REGISTER piggybank.jar

其次，使用AvroStorage请求额外的库，因此您需要注册json-Simpl-1.1.1.jar。

REGISTER json-simple-1.1.1.jar

第三，如果您想使用更新版本的Avro，则需要avro-mapred.jar

我的猪脚本中有以下代码：

REGISTER lib/piggybank-0.13.0.jar;
REGISTER lib/avro-1.7.7.jar;
REGISTER lib/avro-mapred-1.7.7.jar;
REGISTER lib/json-simple-1.1.1.jar;

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/25917671

复制

相似问题

问将avro文件合并为一个
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问将avro文件合并为一个EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问将avro文件合并为一个
EN