我是Hadoop的新手，我正在编写一个迭代的MapReduce作业。
我知道，使用Hadoop，从一个大数据集开始，它将被拆分为小文件，而不是将它们作为输入发送到不同机器上的映射函数。我只是成功地在输出文件的末尾附加了MapReduce的结果，但是这样，通过迭代作业，这个结果将只发送到一台机器上。因此，我希望将结果附加<
浏览 1提问于2014-05-26得票数 0
回答已采纳
2回答
我是hadoop上的json新手，我有大量的.json类型的日志文件。我需要在mapreduce中解析这些日志。我需要的mapreduce作业的例子，采取.json文件的输入，解析它，并输出到一个文本文件或.json文件。":[
浏览 0提问于2015-06-04得票数 0
我试图使用org.apache.hadoop.examples.WordCount为wordcount创建一个作业，但它显示了错误：使用的职务配置：文件存储在桶中：
hadoop-mapreduce-ex
浏览 1提问于2021-02-10得票数 1
回答已采纳
1回答
我有多个小输入文件。对于使用多个输入文件运行映射减少作业，以下命令如下所示：但是，如果上面仅仅是一个文本文件，并且应该是一个HAR文件，那么MapReduce作业的所有输出都是一个HAR存档的命令是什么呢？
浏览 7提问于2015-12-16得票数 1
回答已采纳
我正在尝试找出如何迭代map reduce操作的最终结果，所以我猜map reduce结果中一定有某种索引？
浏览 4提问于2010-03-11得票数 0
回答已采纳
我想使用hadoop流方法在中运行python映射减少作业。我的地图减少python脚本、输入文件和作业结果输出都位于中。我试着运行这个命令
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming.jar -file gs://bucket-name/intro
浏览 1提问于2017-12-28得票数 2
回答已采纳
我使用下面的代码：pathToResults目录下有很多文件，比如part-0000，part我可以使用FileUtil.copyMerge()，但它真的很慢，它下载所有的文件到驱动程序，然后上传到hadoop.但是FileUtil.copyMerge()比：如何在不使用repartition和
浏览 0提问于2015-03-13得票数 7
回答已采纳
1回答
我需要写一个API来从Hive表中获取数据，这样我就可以处理它了，所以我正在尝试使用Jdbc访问Hive表。一个简单的"Select * from table“可以很好地工作，但是"Select count(*) from table”抛出了一个错误：
2017-04-20 18:05:57,709 INFOjava.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.h
浏览 4提问于2017-04-20得票数 0
2回答
我遵循的是，我正在分配输入和输出目录。我在这里创建了两个目录：~/projects/hadoop/WordCount/output/找到我的<
浏览 4提问于2017-02-03得票数 0
回答已采纳
1回答
我在亚马逊d2.2Xlarge上运行单节点hadoop集群时出现此错误。我也无法查看我的output.Can。谁能提供正确的步骤来解决此问题？for output/file.out"bin/hadoop fs -mkdir /output
bin/hdfs dfsadmin -safemode leavebin/<em
浏览 2提问于2016-03-03得票数 2
我在学hadoop。我现在遇到了一个问题。我运行mapreduce作业，输出存储在多个文件中，但不是单个文件。我想将它们全部添加到hdfs中的单个文件中。有没有办法在不接触本地文件系统的情况下将HDFS中的输出文件附加到HDFS中的单个<e
浏览 6提问于2019-11-29得票数 0
3回答
有些地方出了问题，它几乎消耗了C驱动器中所有可用的磁盘空间。因此，我关闭了资源管理器、节点管理器、名称Node、数据节点控制台。现在我有一个C驱动器，它几乎已经满了，我不知道如何清空磁盘空间，并使我的C驱动器像以前一样。我现在该怎么办。任何帮助都是非常感谢的。
浏览 7提问于2015-04-17得票数 0
我对Hadoop Mapreduce和Pig环境有疑问。在中，我发现Pig系统对Pig的拉丁代码很感兴趣。首先，我认为Pig使用map和reduce方法创建.jar文件，然后将该文件“发送”到Hadoop Mapreduce环境以运行mapreduce作业(这是Pig开发人员未来的工作)。那么，Pig系统到底什么时候使用Hadoop Mapreduce呢？它是在解
浏览 0提问于2012-08-30得票数 2
回答已采纳
0回答
我正在使用Python程序运行hadoop mapreduce作业，该程序创建不同的输入路径作为mapreduce作业的参数。在将这些输入路径传递到mapreduce之前，我目前正在使用以下命令检查hadoop fs路径是否存在：然后，我的Python程序与命令行通信并确定文件是否存在(如果文
浏览 6提问于2017-06-13得票数 0
回答已采纳
然后我编译并运行它：它运行良好，当我检查输出目录时：output-18/part-00011output-18/part-00013好的，15台减速机应该生产15部分-xxxx，正如我所预期的。但是，合并所有这
浏览 0提问于2018-08-26得票数 0
回答已采纳
1回答
如何在azure上提交用python编写的批处理作业。我正在寻找类似于此，但不是为java，而是为python。
curl -k --user "admin:mypassword1!"
浏览 0提问于2016-04-02得票数 1
1回答
我在电子病历上运行了一系列MapReduce作业。但是，第三个MapReduce作业需要第二个MapReduce作业的数据输出，并且输出基本上超过一百万个键值对(键和值都小于1KB)。有没有一种好方法可以将此信息存储在与EMR相同的计算机上的分布式存储中，以便后续作业可以访问这些信息？我看过，但它更多的是用来存储文件的<
浏览 3提问于2013-05-05得票数 1
回答已采纳
1回答
我正在创建一个验证工具来检查Apache Tez是否在Hadoop的hortonworks发行版中工作，为此，我需要检查是否在Tez上执行了一个简单的map reduce程序，我可以看到mapred-default.xml中的一个属性必须更改。mapreduce.framework.name = yarn-tez (ref: http://docs.hortonworks.com/HDPDocuments/HDP2/HD
浏览 1提问于2014-07-21得票数 2
1回答
我正在使用Python元组，并且有一个文本文件，如下所示(2,value2)...如何将MapReduce作业配置为按元组中的第一个键作为整数进行排序我的reduce作业需要输出一个有序的元组列表，所以我不想开始用制表符替换括号和逗号。这将是一个痛苦的转换回元组。我使用以下参数从bash运行我的hadoop</e
浏览 0提问于2016-05-02得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
