我有一个pig脚本，可以从HDFS上的目录中读取数据。数据存储为avro文件。文件结构如下： --Subdir1 --Subdir3在pig脚本中，我只是执行加载、过滤和存储。)STORE items into outputDirectory using AvroStorage()
现在的问题是，pig在输出目录中输出</em
浏览 1提问于2018-07-14得票数 1
回答已采纳
来防止此错误：org.apache.tez.dag.api.TezUncheckedException-172-31-3-207.eu-west-1.compute.internal:8020/apps/tez/0.5.2/tez-0.5.2-minimal.tar.gz
看起来安装脚本将tar.gz文件</
浏览 0提问于2016-04-15得票数 1
我正在使用下面的命令加载文件，当我尝试转储或说明加载的数据时，它失败了，并显示了以下错误。我已经检查了数据的健全性，每一行都包含正确的分隔符数量，但当字段为空时，分隔符紧随其后，我尝试加载下面的单个样本行。它不起作用。at org.apache.pig.newplan.PlanVisitor.visit(PlanVisitor.java:52)
at org.apache.pig.pen.ExampleGenerator.getExamples(GruntParser.java:
浏览 0提问于2013-07-01得票数 0
回答已采纳
1回答
我使用Pig0.11.1(在CDH4和MR1上)和DBStorage将聚合结果输出到MySql2。该作业似乎运行良好(成功完成并生成一个输出)，但我收到了下面的警告。2014-06-05 :42:53,189主要信息org.apache.pig.tools.pigstats.JobStats -使用输出大小阅读器: org.apache.pig.tools.pigstats.JobStats2014-06-05 :42:53,192主警告org.<em
浏览 4提问于2014-06-05得票数 1
1回答
猪的许可被拒绝
、、
[main] ERROR org.apache.pig.tools.grunt.Grunt - You don't have permission to perform the operation.Error from the server: dummy (Permission denied)
[main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR2013-09-06 10:41:19,344 [main] INFO org.apache.<e
浏览 2提问于2013-09-05得票数 0
回答已采纳
我是通过Cloudera的Hue (web界面)来使用Pig的，而不是通过命令行。事实上，由于公司的限制，我无法访问命令行，只能通过web界面访问Pig Shell本身。我想通过一些我可以用Pig语言本身发出的命令来找到我的Apache Pig版本。有人知道怎么做吗？
浏览 1提问于2014-12-10得票数 1
1回答
我在Azure上有HDInsight集群，在hdfs (Azure存储)中有.csv文件。此脚本成功加载文件，描述结构，并使用转储显示数据，但当存储命令执行时，它将引发以下错误：
2017-05-02 06:18:41,476 [main] ERROR org.apache.pig.PigServerusing imports: [, java.lang., org.apache</em
浏览 2提问于2017-05-02得票数 1
1回答
如何在猪文件中使用.jar
、、、、
我有两个输入文件smt.txt和smo.txt。jar文件读取文本文件，并按照java文件中描述的规则对数据进行拆分。猪文件通过做mapreduce将这些数据输入到输出文件中。(我认为方法的内容没有必要)：import org.apache.hadoop.mapreduce.*;
impor
浏览 3提问于2012-12-09得票数 2
我们使用Pig从包含数千个文件的目录中加载文件，对它们进行转换，然后输出合并了输入的文件。 USING org.apache.pig.piggybank
浏览 0提问于2016-01-16得票数 0
抛出异常at org.apache.pig.PigServer$Graph.parseQuery(PigServer.java:1735)at org.<
浏览 0提问于2016-12-08得票数 0
当我尝试将输出存储在JsonStorage中时。:63) at org.apache.pig.PigServernot resolve org.apache.pig.builtin.JsonStorage using imports: [, org.apache.pig.builtin.,
浏览 1提问于2015-07-16得票数 0
对于下面的xml文件，如何使用xpath提取book id的值？description></catalog>REGISTER hdfs:///user/iahlu/piggy.jar ;
A = LOAD '/user/ia
浏览 0提问于2016-05-18得票数 0
我想知道如何用兼容的模式创建一个空包。answer = FOREACH data
GENERATE (list is null ?
浏览 1提问于2013-12-11得票数 3
回答已采纳
我正在尝试从Pig中的CSV文件中筛选空字段和空字段。我使用CSVExcel存储来加载数据并删除标题。下面是我尝试过的猪脚本。REGISTER /usr/lib/pig/piggybank.jar;
inp = load 'test.csv' USING org.apache.pig.piggybank.storage.CSVExcelStorageMATCHES '') AND (dept
浏览 4提问于2017-04-28得票数 1
我正在尝试实现UDF函数来处理各种源/输入文件。输入文件的列数不同。我的意图是拥有通用的UDF函数。每次运行pig脚本都会处理一种类型的输入文件(由'|‘分隔的相同数量的记录。输入(1,2,3,4,5,6)输出a) {(1,3)，(2,4,5,6)}或b) {(2,3,4)，(1,5,6)}有什么提示吗？谢谢
更新
浏览 3提问于2015-12-15得票数 1
1回答
我想将小的avro文件合并到一个avro文件中，保持相同的模式，使用pig。();但是失败了，但有以下错误：
ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1070: Could not resolve org.apache</
浏览 3提问于2014-09-18得票数 0
回答已采纳
我有一个如下所示的XML文件。我正在使用XMLLOader加载XML。它工作得很好。但是，当获取这些值时，它会给出空值： <f></f> <st>****</st> <cb>*</md>REGISTER '/u
浏览 1提问于2014-11-05得票数 0
我想用Apache pig把一个文件分成4个相等的部分。例如，如果一个文件有100行，前25行应该转到第一个输出文件，依此类推。最后25行应该转到第四个输出文件。有人能帮我做到这一点吗。我使用Apache Pig，因为文件中的记录数将以百万为单位，并且之前的步骤需要使用pig生成需要拆分的文件。
浏览 1提问于2015-09-24得票数 2
我注意到，当运行PIG脚本时出现错误时，会生成并保存日志。但是如果没有错误，日志文件就会被删除。有没有一种即使作业成功也能保留日志文件的方法？
浏览 0提问于2012-08-16得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
