有多少个减速器可以同时运行？

文章/答案/技术大牛

发布

2回答

hadoop、mapreduce

我想知道有多少减速器可以同时运行。例如，假设我们有864个减速器，有多少个可以同时运行？

浏览 13提问于2018-02-19得票数 0

1回答

hadoop版本2(纱线)执行场景结果？

mapreduce、hadoop-yarn、hadoop2

我们有两项工作要做。Job1有8个映射任务和2个约简任务。Job2有4个地图和1个约简任务。纱线系统将如何决定先运行哪些任务？会有多少个映射器和减速器同时启动？

浏览 1提问于2016-03-04得票数 0

回答已采纳

2回答

为什么所有的reduce任务都在一台机器上结束？

hadoop、mapreduce、load-balancing

但是，当我查看这些日志文件时，我发现Map任务相对均匀地分布在节点上(我有8个节点)。但是reduce任务标准输出日志只能在一台机器上找到。我猜，这意味着所有的reduce任务最终都在一台机器上执行，这是有问题的，也是令人困惑的。有人知道这里发生了什么吗？是配置问题吗？如何才能使reduce作业也均匀分布？

浏览 0提问于2011-09-01得票数 0

回答已采纳

1回答

Hadoop映射减少对大密钥空间的查询

hadoop、mapreduce

唯一的键可以在1000万左右。值是具有最大200 K字符的字符串。我想在2-3小时内完

浏览 1提问于2013-04-23得票数 0

回答已采纳

1回答

检查和验证Hadoop mapreduce中的节点数？

hadoop、mapreduce、task、nodes、jobs

在作业完成后，我如何知道该作业实际运行了多少个节点，有多少map任务，以及有多少reduce任务？谢谢……

浏览 1提问于2015-02-15得票数 0

1回答

纱线上的MapReduce :控制映射器还是减速机任务同时运行？

concurrency、mapreduce、mapping、max、hadoop-yarn

我的基于mapreduce的hive运行在Yarn上，hadoop版本是2.7.2。我想要的是，当某些hive很大时，它可以限制映射器任务或者减少同时运行的任务。我已经检查了我的应用程序，它的运行映射器在20以上，但是mapreduce.tasktracker.reduce.tasks.maximum值只是默认值2。Ignored when mapreduce.jobtracker.address is "local". mapreduce.job.maps只是一个提示，说明将为映射任

浏览 0提问于2017-08-14得票数 0

4回答

MapReduce中一个任务的减速器数

hadoop、mapreduce

在典型的MapReduce设置(如Hadoop)中，有多少还原器用于一个任务，例如，计数单词？我对谷歌MapReduce的理解意味着只涉及到一个减速机。对吗？例如，单词计数将将输入划分为N个块，N将运行，产生( word，#)列表。我的问题是，一旦地图阶段完成，会不会只有一个还原器实例运行来计算结果？或者会有减速器并行运行？

浏览 4提问于2011-06-02得票数 9

回答已采纳

1回答

我可以在安卓系统上同时运行多少个AsyncTask executeOnExecutors？

android、android-asynctask

我可以在安卓系统上同时运行多少个AsyncTask executeOnExecutors？似乎有很多executeOnExecutors不是同时运行的。有固定的号码吗？

浏览 0提问于2019-09-12得票数 0

2回答

Hadoop，已启动的减少任务=1

hadoop、reduce

Hadoop运行在一个由8个节点组成的集群上。提交的作业产生几个键值对象作为映射器输出，具有不同的键(手动检查)，所以我除了有几个启动的还原器来管理节点中的数据。由于有几十个不同的键，所以我希望至少有与节点数一样多的减缩器，即8个(也就是从节点的数量)。谢谢

浏览 2提问于2013-06-04得票数 1

1回答

使用react注入器时在注销时重置redux存储

redux、react-redux、state-management、react-boilerplate

下面是我如何组合减速器的方法： export function createReducer(injectedReducers

浏览 5提问于2021-05-27得票数 2

回答已采纳

1回答

写RCFile -有多少个减速器？

hadoop、hive

我有一个MapReduce实现，用于将某些日志文件直接处理到GZip压缩RCFile中，以便轻松加载到Hive中(通过外部表投影)。无论如何，我有成功和正确运行的代码，以BytesRefArrayWritable的形式将数据发送到RCFileOutputFormat中。目前，我把它作为一个纯地图作业运行，这意味着对于N个输入分块，我得到了N个输出文件。例如，对于50个输入分块，我将获得50个.rc扩展名文件。Hive可以一起解释这些文件，没有问题，但我的问题如下：是在一个目录中有50 (或N )个RCFile是最优的，还

浏览 1提问于2013-09-11得票数 0

1回答

Appengine :连接错误太多

java、sql-server、google-app-engine、google-cloud-sql

我正在使用应用程序引擎和云sql，java.sql.SQLException: Too many connections at com.google.cloud.sql.jdbc.internal.E...private java.sql.Connection con = null; public void init() throws ServletExcep

浏览 0提问于2014-09-29得票数 0

3回答