我们在HDFS中有包含原始日志的文件，每个单独的日志都是一行，因为这些日志是以行分隔的。我们的要求是添加一个文本(例如，‘12345’)在这些文件中的每个日志结束时...使用pig / hadoop命令/或任何其他基于map reduce的工具。谢谢AJ
浏览 18提问于2017-06-29得票数 0
2回答
我很难将数据从pig中提取出来并放入CSV中，这样我就可以在Excel或SQL (或R或SPSS等)中使用，而无需进行大量操作……STORE pig_object INTO 'part-m-0000#文件的文件夹。我读到PigStorageSchema应该创建另一个头文件，但它似乎根本不起作用，例如，我得到的结果与它只是存储的一样，没有头文件:<
浏览 1提问于2012-12-04得票数 10
回答已采纳
在从Apache网站安装Pig后，我正在尝试启动MAC上的Pig-0.12.0。Export PIG_HOME=/Users/Hadoop_Cluster/pig-0.12.0
Export HA
浏览 1提问于2014-01-02得票数 1
我在HDFS上有一个文件，我想知道有多少行。(测试文件)wc -l <filename>hadoop fs -text /user/mklein/testfile
我怎么知道我有多少行？我希望避免在运行wc命令之前将文件复制到本地文件</
浏览 7提问于2015-09-16得票数 24
回答已采纳
我已经在Ubuntu Linux15.04上安装了Hadoop2.6，并且运行良好。path does not exist: hdfs://localhost:54310/user/hduser/input.以下是该错误的完整详细信息。hduser@krishadoop:/usr/local/hadoop/sbin$ hadoop jar /usr/local/
浏览 26提问于2015-08-24得票数 10
我刚刚安装了一个新的Ubuntu 12.04虚拟机(Virtualbox)，并想在上面测试Hadoop。我遵循这个指南：我必须在哪里解压hadoop文件夹？安装正确的java版本有哪些命令？谢谢!
浏览 1提问于2012-11-12得票数 0
3回答
看起来很简单，我可以用另一种语言很容易做到这一点，但我正在努力寻找使用Pig的答案。我每天都可以将一个或多个日志文件转储到目录中。我想迭代调用每个文件，并将其传递给Pig脚本进行处理。我知道参数替换，但是如何遍历文件并传递/调用我的Pig脚本呢？谢谢。
浏览 0提问于2014-08-27得票数 1
2回答
在远程计算机(example.host.com)上安装了Hadoop。Pig也安装在该机器上。我不想从远程复制文件。我只想在那些以avro格式存储的文件上运行查询，这些文件也有模式。我在本地机器上安装了Pig，并在pig.properties文件中添加了以下几行
fs.default.name=h
浏览 0提问于2013-02-14得票数 0
2回答
/students-db.txt' using PigStorage('|') as (rnum, sname, name, age, gender, class, subject, marks);谢谢
浏览 0提问于2015-02-22得票数 0
标准教程期望HDFS的/上的所有文件(在我的情况下不能使用)，因此我为此创建了/pig dir。drwxrwxrwx - hdfs hdfs 0 2014-03-31 11:15 /pig-rw-r--r-- 3 jakub hdfs 10408717PIG脚本会尝试<
浏览 1提问于2014-03-31得票数 0
回答已采纳
我有一个位于\home\hadoop\Desktop\script\sample.csv的csv文件sample.csv。我试着用以下命令加载小猪但是这个PIG语句给出了一个错误，但是当给出语句
浏览 1提问于2015-03-06得票数 2
回答已采纳
我刚开始学习Hadoop和PIG (从过去的两天开始！)为了我未来的一个项目。对于实验，我安装了Hadoop (默认本地主机上的HDFS:9000)作为伪分布式模式和PIG (map-reduce模式)。
当我通过输入./bin/pig命令初始化pig时，它启动了GRUNT命令行，我得到了PIG已连接到HDFS (localhost:9000)的</em
浏览 0提问于2012-11-18得票数 1
回答已采纳
如果我在本地模式下运行pig@hadoop (因为我不想使用hdfs)，那么它会在单线程/单进程模式下处理我的脚本。如果我将hadoop设置为伪模式(使用replication=1的hdfs)，那么pig@hadoop不喜欢我的file:///...
traj = LOAD 'file://&#
浏览 1提问于2015-07-25得票数 0
我在UNIX文件系统中有file.txt。g' file.txtsed -i '$ s/}]},/}]}]/g' file.txt
我的问题是，如果这个文件存在于HDFS上的/test位置，该怎么办如果我使用：sed -i 's/}]}/}]},/g' /test/
浏览 16提问于2017-03-16得票数 10
回答已采纳
当对没有返回任何记录的关系运行dump命令时，它会给出：vineet 1 raj 3 sujit 5 at org.apache.pig.backend.hadoop.executionengine.HExecutionEngine.launchPig/tmp1533833857/pig-0.15.0-core-h1.jar
201
浏览 5提问于2016-08-07得票数 2
我尝试在Ubuntu中运行pig教程脚本两天，但是我无法让pig连接到hadoop文件系统。它仍然在说：“连接到hadoop文件系统: file:///”
事实上，hadoop和pig都在工作，我可以使用它们，pig安装下的pig脚本也可以连接到hadoop。"Connecting to hadoo
浏览 5提问于2010-11-11得票数 2
回答已采纳
2回答
我正在尝试合并大量的小文件(200k+)，并想出了以下超级简单的小猪代码：store Filesinto 'hdfs/output/path' using PigStorage();
一旦Pig完成合并，有没有一种方法可以删除输入文件？我想检查文件是否已经写入并且不是空<
浏览 2提问于2016-03-30得票数 0
我正在使用Azure上的Hadoop沙箱，并且正在进行HortonWorks入门教程"Lab 3- Pig Risk Factor Analysis“。在执行完所有步骤之后，运行此pig脚本：b = filter();文
浏览 1提问于2016-02-15得票数 1
2回答
我运行的猪脚本做了一些积极的操作，输出大小非常小。hadoop fs -getmerge ...有没有办法让pig脚本直接将结果转储到本地文件中？
浏览 0提问于2012-12-03得票数 4
回答已采纳
1回答
Cassandra使用Cassandra文件系统(CFS)，Hadoop使用Hadoop分布式文件系统(HDFS)卡桑德拉可以用HDFS代替CFS?
浏览 0提问于2014-04-03得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
