hadoop群集未运行map reduce作业-计划程序存在问题

文章/答案/技术大牛

发布

0回答

hadoop、mapreduce、hadoop2

(这是我之前关于这件事的一个问题的后续讨论)$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar randomwriter out

浏览 4提问于2017-11-28得票数 1

5回答

Map Reduce中的Map Reduce

apache、hadoop、mapreduce、parallel-processing

我使用Hadoop开发Map/Reduce。我的驱动程序向Hadoop的作业跟踪器提交一个MapReduce作业(包含Map和Reduce任务)。我有两个问题: a)我的Map或reduce任务是否可以提交另一个MapReduce作业？(使用相同的群集Hadoop和到相同的Job Tracker)。这意味着，我的初学者

浏览 1提问于2012-03-15得票数 2

2回答

在hadoop java中解析json输入

java、hadoop

final static IntWritable one = new IntWritable(1); at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:865)at org.apache.hadoop.mapreduce.JobContext.getMapperClass(JobConte

浏览 3提问于2013-05-30得票数 6

回答已采纳

1回答

hadoop FileNotFoundException job.split上的Cascading 2.0.0作业失败

hadoop、cascading

当我在更大的数据集上运行我的作业时，许多映射器/缩减程序失败，导致整个作业崩溃。staging/hadoop/.staging/job_201405050818_0001/job.split at org.apache.hadoop.hdfs.DFSClient$DFSInputStream.openInfoorg.apache.hadoop.mapred.MapTask.getSplitDetails(MapTas

浏览 2提问于2014-05-05得票数 1

1回答

在hadoop上探索nutch

hadoop、nutch

用Hadoop和Nutch作为搜索引擎，我能做什么呢？我知道nutch是用来构建网络爬虫的。但我找不到完美的照片。我可以在nutch中使用mapreduce并执行一些mapreduce工作吗？

浏览 0提问于2011-09-27得票数 0

回答已采纳

1回答

默认Amazon EMR配置单元密码是什么？

hive、amazon-emr

我正在连接到亚马逊电子邮件记录hivethriftserver2。我总是得到这样的信息：验证登录的正确密码是什么？

浏览 0提问于2015-09-30得票数 1

1回答

在hadoop集群上运行mapreduce java程序

java、hadoop、mapreduce、cluster-computing

我正在学习如何在hadoop集群上工作。我在hadoop流媒体上工作了一段时间，在那里我用perl/python编写了map-reduce脚本并运行了作业。然而，对于运行java map reduce作业，我没有找到任何好的解释。例如:我有以下程序- 谁能告诉我，我应该如何实际编译这个程序并运行作业。

浏览 1提问于2012-05-08得票数 1

回答已采纳

3回答

在hadoop集群中，是否应该在所有节点上都安装hive？

hadoop、cluster-computing、hive

我是Hadoop / Hive的新手，我刚刚开始阅读文档。有很多关于在集群模式下安装Hadoop的博客。另外，我知道Hive运行在Hadoop之上。我的问题是: Hadoop安装在所有集群节点上。我是应该在所有群集节点上也安装配置单元，还是只在主节点上安装？

浏览 2提问于2011-12-10得票数 17

回答已采纳

1回答

Hive是否依赖Hadoop/是否需要Hadoop？

hadoop、hive、hql、rdbms

Hive安装指南说Hive可以应用于RDBMS，我的问题是，听起来Hive不需要Hadoop也可以存在，对吧？它是一个独立的HQL工程师，可以处理任何数据源？

浏览 129提问于2016-09-02得票数 4

回答已采纳

1回答

Hadoop 0.20：“作业设置”任务

hadoop

我不确定这是否是较新版本的Hadoop已经修复的问题，但我目前只能运行Hadoop 0.20 (遗留代码)。问题是:当我启动Hadoop作业时，需要首先运行“job setup”任务。在我看来，Hadoop随机选择了这个任务，要么是map任务，要么是reduce任务。我们为map任务配置了比reduce任务更多的容量，所以每当我不走运，有一个reduce

浏览 1提问于2015-04-25得票数 0

1回答

在hadoop上运行kmeans时的PriviledgedActionException

eclipse、hadoop、mapreduce、k-means

我正在尝试使用这个指南在hadoop上运行KMeans。 15/03/20 11:29:44 INFO mapred.JobClient: Cleaning up the staging area file:/tmp/hadoop-hduser) at org.apache.h

浏览 0提问于2015-03-20得票数 0

3回答

如何在mapreduce处理中使用RAM？

hadoop、mapreduce、bigdata

RAM或缓存在map reduce处理中的用途是什么，或者它是如何被map reduce中的各种进程访问的？

浏览 1提问于2017-02-07得票数 1

1回答

正在忙于运行map* reducer作业时写入hadoop群集*

hadoop

我知道Hadoop有一个公平调度器，我们可以将一个作业分配给某个优先级组，然后根据优先级将集群资源分配给该作业。我不确定的是，Hadoop集群如何确定非map-red程序的优先级。具体地说，当群集忙于运行map-red作业时，Hadoop将如何优先处理通过外部客户端(例如，直接打开HDFS文件并向其流式传输数据的某个独立程序)写入Hadoop的操作。

浏览 1提问于2017-09-01得票数 0

1回答

当MapReduce作业运行时，应该查找什么？

hadoop、mapreduce、hive、cluster-computing、health-monitoring

我正在开始使用Hadoop -我想知道感谢您的见解

浏览 0提问于2015-05-30得票数 0

1回答

从节点可以运行Hadoop* Map/*Reduce作业吗？

java、hadoop

我在两个节点(主节点和从节点)上安装了Hadoop。我会问是否可以从Slave machine运行Map/Reduce作业，或者从Slave Machine使用HDFS。从主节点运行map/reduce作业没有问题，但当我尝试从Slave节点运行Map/Reduce作业时，出现以下错误。 Java.net.conne

浏览 0提问于2011-12-04得票数 1

4回答

Yarn给现有的地图带来了什么额外的好处？

hadoop、mapreduce、hadoop-yarn

Yarn的基础架构层与原始的map reduce架构在以下方面有所不同：我想知道从map-<em

浏览 2提问于2012-10-21得票数 17

回答已采纳

3回答

在eclipse中调试map* reduce作业*

java、eclipse、hadoop、mapreduce

我想使用eclipse调试Map-reduce作业(pig、hive)。也就是说，在hadoop源java文件中设置断点，并在运行map-reduce作业时检查元素。

浏览 0提问于2014-10-29得票数 1

2回答

Apache Hive Vs Normal Map Reduce

apache、map、hadoop、hive、reduce

在运行hive查询(外部表中简单的条目计数)和正常的map reduce (单词计数程序)时，我有一个奇怪的经历。我的字数映射reduce是首先启动的，配置单元查询是第二启动的。蜂窝查询的速度有多快，我的第一个map reduce就卡住了。有没有这样的情况，Hive map reduce会阻塞所有其他的map reduce同时运行？我请你补充一下你对这个问题的看

浏览 0提问于2012-03-07得票数 0

回答已采纳

2回答

为什么纱线中的压缩会使工作减慢几倍？

hadoop、mapreduce、hadoop-yarn、hadoop2

当我在YARN (2.4.0)中使用压缩(snappy)运行作业时，对作业完成时间有很大影响。例如，我运行了以下实验。作业: invertedindex群集: 10个从虚拟机(4个CPU 8 8GB )。未压缩的5 5GB倒排索引作业完成时间(Snappy)：226秒，压缩: 1600s我在mapred-site.xml中的配置

浏览 0提问于2014-07-22得票数 2

1回答

通过命令行上的Hadoop作业客户端提交Hadoop作业

hadoop、mapreduce

我一直在尝试查找有关如何通过命令行提交hadoop作业的信息。我知道命令- hadoop jar jar-file main-class输入输出什么是

浏览 2提问于2012-09-17得票数 1

回答已采纳

点击加载更多