腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
我可以为每个
节点
定义不同的map和reduce插槽编号吗?
hadoop
、
mapreduce
我想知道是否可以为
hadoop
集群
中的每个
节点
定义不同
数量
的插槽。或者,我必须为
集群
中的所有
节点
设置插槽
数量
注意:我使用
hadoop
版本: 1.2.1,因为它是最新的稳定版本,但是如果有可以这样做的版本,请告诉我
浏览 3
提问于2014-12-31
得票数 1
2
回答
如何设置AWS/星火现场添加更多的工作
节点
使用CLI?
amazon-web-services
、
apache-spark
、
emr
以下是我的目标:使用EMR5.3.0或EMR5.4.0与Spark2.1.0通过AWS创建按需
Hadoop
集群
(需要指定的
节点
数),同时将输入和输出数据存储在S3中,而不必担心管理用于数据存储的24*7以下是我的挑战/问题:( a)我可以使用'aws创建-
集群
‘命令来完成上面的工作,并指定
节点
的
数量
?对吗?( b)如果我使用'aws创建-
集群
‘,我是否可以动态添加更多的工作
节点
(我猜这称为任务
节点
),以便
浏览 0
提问于2017-03-16
得票数 2
1
回答
如何估计Hortonworks
Hadoop
集群
上火花执行器的
数量
?
hadoop
、
apache-spark
、
hadoop-yarn
、
hortonworks-data-platform
我设置了一个Hortonworks
Hadoop
集群
: 如何估计这种
Hadoop
集群
上火花执行器的
数量
?
浏览 5
提问于2015-12-03
得票数 1
回答已采纳
1
回答
GCE
Hadoop
工作者
节点
上的减速器槽数是多少?
hadoop
、
mapreduce
、
google-compute-engine
、
google-hadoop
我正在的
Hadoop
集群
上测试一些MapReduce作业的扩展,并发现一些意想不到的结果。简而言之,有人告诉我,这种行为的原因可能是每个
Hadoop
集群
中的每个工作
节点
都有多个减速器插槽。有人能确认GCE的
Hadoop
集群
上每个工人
节点
(worker VM)上的MapReduce作业的减速器插槽的
数量
吗?我正在使用
hadoop
2_env.sh部署。
浏览 4
提问于2015-04-01
得票数 1
回答已采纳
1
回答
Hadoop
:单
节点
与
集群
性能
python-2.7
、
hadoop
、
hadoop-streaming
我在具有3个
节点
(1个主
节点
和2个从
节点
)的
Hadoop
集群
上按顺序运行三个MapReduce作业(其中一个是对另一个的输入)。我使用
Hadoop
流,我的代码在python2.7中。
浏览 0
提问于2013-12-28
得票数 0
回答已采纳
2
回答
AWS -
Hadoop
集群
-
节点
已启动但无法工作
hadoop
、
amazon-web-services
、
hdfs
、
cluster-computing
我在本地服务器中设置了
hadoop
集群
,运行良好,我正在将其复制到AWS服务器(1个主NN、1个二级名称
节点
、7个奴隶),我能够启动
hadoop
。还有什么我可以
查
的吗?
浏览 4
提问于2015-12-22
得票数 1
回答已采纳
1
回答
在
Hadoop
0.23.0上运行示例时作业挂起
hadoop
、
mapreduce
我试图在
Hadoop
0.23.0中添加容量调度程序,并尝试运行一个示例pi,即随机编写程序。我看不见积木的地方。LOG_DIR> -Dyarn.app.mapreduce.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Xmx1536m org.apache.
hadoop
.mapreduce.v2
浏览 2
提问于2012-06-08
得票数 1
1
回答
采用
Hadoop
的高性能计算机的成本效益
hadoop
、
amazon-ec2
、
distributed-computing
我刚刚阅读了一些关于
Hadoop
的优秀文档。看起来
Hadoop
相对于其他计算昂贵的数据处理方法(例如)的主要优势之一是它的。它利用了大量价格适中的硬件,而不是任何一台功能强大但价格昂贵的机器。假设我们可以选择使用高性能但昂贵的机器进行
Hadoop
计算。
Hadoop
能够有效地利用这些昂贵的资源吗?它是自动利用额外的,还是必须自己进行并行编程?机器性能有多大的提升?
浏览 1
提问于2013-05-27
得票数 1
回答已采纳
1
回答
Hadoop
- /usr/sbin/ shell脚本的目的是什么?
hadoop
我正在CentOS 6.4上安装
Hadoop
1.1.2。我读了http://
hadoop
.apache.org/docs/stable/上所有的
Hadoop
文档
hadoop
-create-user.sh
hadoop
-setup-hdfs.sh
hadoop
-setup-singl
浏览 0
提问于2013-06-26
得票数 2
1
回答
解释一下
hadoop
中异构硬件的概念?
hadoop
哪一个是常用的异构型或同构型?为什么?
浏览 5
提问于2017-02-05
得票数 1
2
回答
自动设置多
节点
Hadoop
集群
hadoop
、
amazon-ec2
、
configuration-management
我有一个用
Hadoop
安装的EC2映像。但是,我将它设置为在实例化时是没有滚动的(它不是奴隶或主)。为了启动
Hadoop
集群
,我在EC2上启动了我需要的尽可能多的实例(
节点
),然后我必须对每个
节点
执行以下3项操作:
浏览 6
提问于2012-10-15
得票数 2
回答已采纳
1
回答
如何设置
hadoop
中的
节点
数?
hadoop
、
nodes
我使用的是由我们部门技术人员管理的
hadoop
集群
。要使用它,我只需要在两个文件(core-site.xml和mapred-site.xml)中设置参数,就可以了。我的问题是,有没有一种方法可以控制我的
hadoop
程序中涉及的
节点
数量
?我知道,如果我自己管理
集群
,我可以修改配置文件中的副本
数量
。但由于我无法访问该文件,我似乎不太走运。这两种方法可以通过编程方式设置map/reduce任务的
数量
。但这些数字不一定会转换为实际运行的
节点<
浏览 3
提问于2012-04-23
得票数 2
1
回答
怎么
知道不。在映射作业中运行的
节点
。
hadoop
、
mapreduce
输入分块的
数量
是否决定了mapreduce作业中正在运行的
节点
数。 我的意思是,如果我有5个输入分裂,这将使它们分布在5个
节点
上进行处理。映射任务的
数量
是否与
节点
数相似?
浏览 0
提问于2016-04-04
得票数 0
回答已采纳
3
回答
hadoop
集群
中的边缘
节点
hadoop
、
bigdata
有人能给我解释一下
hadoop
中Edge
节点
的架构吗?我只能在互联网上找到定义,我有以下问题- 1)边缘
节点
必须是
集群
的一部分吗(如果它在
集群
内,我们有什么优势?)它是否在hdfs中存储任何数据块。2)边缘
节点
可以在
集群
外吗?
浏览 5
提问于2013-05-22
得票数 12
3
回答
地图-通过Oozie减少
hadoop
、
mapreduce
、
oozie
、
oozie-coordinator
如果我使用Oozie来运行MapReduce作业,那么启动多少映射程序有具体的数字吗?是:
浏览 5
提问于2016-08-02
得票数 2
回答已采纳
1
回答
如何在apache
hadoop
2.7.1上安装cloudera
apache
、
hadoop
、
cloudera-manager
我目前正在使用apache
hadoop
2.7.1,
集群
包括1个名称
节点
和3个数据
节点
。提前谢谢。
浏览 4
提问于2016-02-07
得票数 1
1
回答
在
hadoop
集群
中添加
节点
而不重新启动主服务器
hadoop
、
hdfs
、
hadoop-yarn
我已经创建了
hadoop
集群
,并希望在
集群
中添加一个新
节点
,作为从
节点
运行,而不重新启动主
节点
。 这
怎么
能办到
浏览 3
提问于2022-05-05
得票数 0
1
回答
在单个
节点
集群
上运行
Hadoop
时,HDFS是如何工作的?
hadoop
、
mapreduce
、
hdfs
关于数据局部性以及MapReduce和HDFS是如何在多
节点
集群
上工作的,有很多内容。但是我找不到很多关于单个
节点
设置的信息。在我试验
Hadoop
的过去三个月里,我总是阅读关于映射器和还原器
数量
的教程和线程,并编写自定义分配器来优化作业,但我总是认为,它是否适用于单个
节点
集群
?与多
节点
集群
相比,在单个
节点
集群
上运行MapReduce作业的损失是什么? 在这种情况下,通过拆分输入数据提供的并行性仍然适
浏览 0
提问于2013-11-14
得票数 5
回答已采纳
1
回答
HDFS群集中的HDFS副本+和最小数据
节点
数
hadoop
、
hdfs
、
datanode
我们的
Hadoop
集群
只有2台数据
节点
机器 在HDFS配置中,我们将Block replication定义为3 所以 Block replication=3 可以吗?当我们在群集中只有两个数据
节点
时,定义Block replication=3 根据我的理解,当我们定义数据块replication=3时,虽然我们在HDFS群集中有2个数据
节点
机器,这意味着一台机器应该有
浏览 43
提问于2020-07-01
得票数 0
回答已采纳
1
回答
1个
Hadoop
和Hbase大簇与1个
Hadoop
簇+1个Hbase簇
hadoop
、
hbase
Hadoop
将通过从Hbase读取数据并将数据写入Hbase来运行许多作业。假设我有100个
节点
,那么有两种方法可以构建
Hadoop
/Hbase
集群
: 分离数据库(),然后我们有两个
集群
:60
节点
Hadoop
集群
和40
节点
Hbase
集群
浏览 4
提问于2014-04-19
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
教你一步一步搭建最新版Apache HBase完全分布式集群
使用Hadoop Shell命令获取集群状态及常用操作指南
弹性MapReduce
大数据Hadoop集群搭建过程需注意的问题
day07.HDFS学习大数据教程
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券