如何将一个简单的SQL请求转换成Apache PIG脚本？

文章/答案/技术大牛

发布

0回答

mysql、sql、oracle、join、apache-pig

我想将以下SQL请求转换为PIG脚本。我的问题是，我目前正在使用许多JOIN到脚本中，这似乎使猪运行缓慢。Select distinctB.somethingB1, B.somethingB2, B.somethingB3D.getField4And F.getField

浏览 1提问于2017-01-02得票数 0

1回答

一次可以向pig作业提交多少个文件？

apache-pig

当我在我的脚本中指定一个大型目录树的根作为LOAD输入时，Pig神秘地失败了。它抛出的后端错误异常无法洞察正在发生的事情。当文件较少时，相同的脚本可以完美地工作。这是一个非常简单的脚本，如下所示：raw_record = LOAD '/data/di

浏览 1提问于2015-01-17得票数 0

1回答

使用XPathAll和Python UDF的Pig脚本

python、xml、apache-pig、udf

我正在尝试编写一个Pig脚本，该脚本接受一个XML文件作为输入，并在运行一些UDF后返回文件中某个子节点的所有值。这是我正在运行的脚本：REGISTER 'function.py' USING streaming_python as myFunc;DEFINE XPathAll org.apache.pig.p

浏览 0提问于2016-12-16得票数 1

1回答

猪脚本useHCatalog标志？

hadoop、hive、apache-pig

我已经编写了简单的猪脚本来读取蜂巢表中的数据。A = LOAD 'default.movie' USING org.apache.hive.hcatalog.pig.HCatLoader();它是工作的时候，我运行的色调猪用户界面pig -useHCatalog sample.pig 但是，如果没有此标志，我如何通过在pig脚本中提供所需<em

浏览 1提问于2015-12-15得票数 2

1回答

pig示例apache [输入路径不存在]

hadoop、user-defined-functions、hdfs、apache-pig

我正在本地桌面上试用apache pig。我希望apache页面上的教程是准确的，或者说出了这些步骤。: org.apache.pig.backend.executionengine.ExecException: ERROR 2118: Input path does not exist: file:/这是我正在寻找的两件事: 1]有没有更好的指南来编写小猪脚本和UDF，它至少能让你在遇到错误之前编写1-

浏览 2提问于2012-08-23得票数 0

2回答

如何在运行Apache Pig脚本时找到jar依赖项？

hadoop、hbase、apache-pig

我在运行一个简单的pig脚本以使用HBaseStorage将数据导入HBase时遇到了一些困难Caused by: <file demo.pig, line 14, column) at org.apache.pig.backend.hadoop.hbase.HBaseStorage.让我困惑的是，在给定适当的Pig</em

浏览 0提问于2015-06-17得票数 2

1回答

带Hadoop2.x的PigUnit

java、hadoop、intellij-idea、classpath、apache-pig

我有一个非常简单的Pig脚本，我想在PigTest中执行它，但是当我运行这个测试时，我得到了以下异常： at org.apache.pig.PigServer.storeEx(PigServer.java:1011) at org.apache</em

浏览 2提问于2015-02-25得票数 0

回答已采纳

1回答

Hadoop:猪错误

hadoop、apache-pig、hadoop2

我是Hadoop的绝对初学者，我只是在做一些简单的测试，但是我发现错误信息并不能提供很好的信息。我已经在一个4Gb内存可用的CentOS 6.4VM上以单节点模式设置了Hadoop环境。我试图在一个500 to的CSV文件上运行一个简单的Pig脚本。我有两个500 on的文件，在第一个文件中，脚本是成功<em

浏览 1提问于2014-04-06得票数 3

回答已采纳

1回答

ToDate()猪UDF导入失败

apache-pig

我正在尝试将YYYY-MM-DD格式的时间转换为日期时间，以便稍后使用它们进行一些数学计算。以及我得到的错误：2015-01-28 13:28:00,074 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1070: Could not resolve ToDate using impor

浏览 0提问于2015-01-29得票数 0

1回答

通过Pig脚本处理Json

apache-pig

我目前已经开始使用JSON文件，并使用PIG脚本处理数据。我使用的是Pig版本0.9.3，我遇到了PiggyBank，我认为它在PIG脚本中加载和处理json文件会很有用。正在尝试运行给定的示例json文件。 at org.apache.pig.PigServer.

浏览 0提问于2012-06-14得票数 5

回答已采纳

5回答

Apache Pig和Apache Hive有什么区别？

hadoop、hive、apache-pig

Pig和Hive的确切区别是什么？我发现两者具有相同的功能含义，因为它们用于做相同的工作。唯一的事情是实现，这对两者都是不同的。那么什么时候该使用哪种技术呢？

浏览 3提问于2012-04-23得票数 18

回答已采纳

3回答

成功时如何保存清管器作业日志文件。

hadoop、apache-pig

我注意到，当运行PIG脚本时出现错误时，会生成并保存日志。但是如果没有错误，日志文件就会被删除。有没有一种即使作业成功也能保留日志文件的方法？

浏览 0提问于2012-08-16得票数 2

回答已采纳

2回答

PL/SQL能否可靠地转换成猪、拉丁和蜂巢管道？

hadoop、plsql、hive、apache-pig、oozie

我对用Hadoop替换我的Oracle db很好奇，并且正在学习Hadoop生态系统。这是正确的吗？

浏览 6提问于2013-10-24得票数 1

回答已采纳

1回答

在EMR上使用PIG* MongoDB-Hadoop连接器时出现"ERROR 6000，Output location validation failed“*

mongodb、hadoop、apache-pig、amazon-emr、mongodb-hadoop

在EMR上的pig脚本中，我得到了一个“输出位置验证失败”异常。将数据保存回S3时失败。我使用这个简单的脚本来缩小问题的范围：REGISTER /home/hadoop/lib://xxx/out/example.bson

浏览 2提问于2015-03-24得票数 2

1回答

只在mapreduce模式下出现0.13错误

hadoop、mapreduce、apache-pig

我在Pig 0.13中使用cloudera CDH5 (也尝试了Pig 0.12.1 )，我正在构建自己的自定义loadFunc，并且我有一个简单的脚本，它可以使用新的loadFunc加载。但是，当在mapreduce模式下运行时(仍然是本地的)，我会得到以下错误： at org.apache.pig

浏览 3提问于2014-11-20得票数 1

回答已采纳

2回答

猪- HBASE -浇铸值

hadoop、casting、hbase、apache-pig

我正在使用PIG处理HBase表中的行。HBase表中的值存储为字节数组。raw = LOAD 'hbase://TABLE' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('CF:I')

浏览 3提问于2013-09-10得票数 3

回答已采纳

1回答

避免“此作业的任务数超过配置的限制100325”错误

hadoop、mapreduce、apache-pig

我每周都会在生产集群上运行一个Pig脚本。在最后一次运行中，我得到了以下错误 at org.apache.hadoop.mapred.J

浏览 2提问于2014-08-03得票数 1

2回答

通过python脚本与导入模块进行Pig流式传输

python、import、stream、dependencies、apache-pig

使用pigtmp$ pig --版本Apache Pig版本0.8.1-cdh3u1 (已导出)编译Jul 18 2011，08:29:40数据示例$ hadoop fs -cat /user/pavel/trivial.log2 two不带

浏览 1提问于2011-11-23得票数 4

3回答

在PIG中将输入拆分为多个子字符串(Hadoop)

hadoop、mapreduce、apache-pig

假设我在Pig中有以下输入：我想把它转换成：sosome 我(还)还没有找到一种在拉丁语中迭代chararray的方法。我已经找到了TOKENIZE函数，但它在单词边界上是分开的。那么，“小猪拉丁语”可以做到这一点吗?还是需要Java类才能做到这一点？

浏览 0提问于2009-09-09得票数 5

回答已采纳

1回答

如何以json格式储存猪袋

json、apache-pig、bag

我在跑PigApache Pig version 0.8.1-cdh3u1 (rexported) 非常简单的数据集上1 one3 threeDUMP B;

浏览 0提问于2011-11-23得票数 0

点击加载更多