腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
虚拟机上的
文件
块复制分配
hadoop
、
、
总结如下:8台物理机,每台包含4台虚拟机,每台虚拟机都安装了
hadoop
hdfs。假设我们有一个包含p台物理机的
集群
,每个物理机都有一个硬盘,
副本
数为3。然后从
集群
外的另一台计算机将n个
文件
块放入
集群
或在
集群
中随机生成n个
文件
块。该模型是关于特定数据模式的数据模式生成和任务模式生成。每个数据块被放置在托管相同数量的虚拟机的物理机上的概率相同。所提出的策略是循环分配和蛇形分配,理论上就像这样:
如何
让
hadoop
知道
浏览 2
提问于2013-02-23
得票数 0
2
回答
Rack感知与名称节点的差异
、
我正在看
Hadoop
,我怀疑Rack wareness和Name Node之间是否有区别。Rack wareness和name节点将保持在同一个框中吗?
浏览 9
提问于2015-02-28
得票数 2
回答已采纳
1
回答
如何
确定
Hadoop
使用的所有默认端口并更改所有端口?
、
、
、
我在运行CentOS 6.4的三台虚拟机
集群
上试用了
Hadoop
2。 我成功地启动了
hadoop
集群
,尽管
Hadoop
2的配置
文件
(如:、、和 )非常折磨我。我想更改
Hadoop
2使用的所有默认端口。配置
文件
的正式文档
定义
了这么多端口号。因此,我认为最好确定
Hadoop
在运行时使用哪些端口,然后更改所有端口。那么,
如何
找到运行CentOS的
集群
中
Hadoop
浏览 3
提问于2013-08-14
得票数 0
回答已采纳
3
回答
Hadoop
客户端节点配置
假设有一个拥有20台机器的
Hadoop
集群
。在这20台机器中,有18台机器是从机,19台机器用于NameNode,20台机器用于JobTracker。现在我知道
hadoop
软件必须安装在所有这20台机器上。 但我的问题是,将
文件
xyz.txt加载到
Hadoop
Cluster涉及到哪台机器。客户端机器是否是一台独立机器。我们需要在那台clinet机器上安装
Hadoop
软件吗?客户端机器
如何
识别
Hadoop
集群
?
浏览 1
提问于2014-03-07
得票数 14
1
回答
找不到或无法加载主类org.apache.
hadoop
.mapreduce.v2.app.MRAppMaster
、
、
/*,$
HADOOP
_YARN_HOME/lib/*,$
HADOOP
_COMMON_HOME/share/
hadoop
/common/*,$
HADOOP
_COMMON_HOME/share/
hadoop
/share/
hadoop
/mapreduce/*,$
HADOOP
_MAPRED_HOME/share/
hadoo
浏览 121
提问于2020-08-22
得票数 1
回答已采纳
1
回答
在不安全的纱线
集群
中运行星火时访问安全蜂巢
、
、
我们有两个Cloudera5.7.1
集群
,一个使用Kerberos进行安全保护,另一个不安全。如果是的话,请提供一些关于
如何
配置它的解释吗?我想解释一下我问题背后的最终目标。我们的主安全
集群
被大量利用,我们的作业无法在合理的时间内获得足够的资源来完成。为了克服这一问题,我们希望使用来自另一个不安全
集群
的资源--我们有,而不需要在
集群
之间复制数据。
浏览 2
提问于2017-03-07
得票数 3
回答已采纳
1
回答
EMR ClassNotFoundException java中的Spark提交
、
、
然后,我将这个jar发送到AWS,或者作为一个spark-submit或java -jar可执行
文件
运行,但这是不起作用的。-2.6.5.jarBOOT-INF/lib/xercesImpl-2.9.1.jarBOOT-INF/lib/<
浏览 0
提问于2019-04-18
得票数 2
1
回答
如何
在
hadoop
的单节点
集群
中运行Java程序?我需要把我的java代码转换成JAR
文件
然后执行吗?
、
、
我想在单节点
hadoop
集群
上运行我的自
定义
java代码/程序。
如何
在
hadoop
的单节点
集群
中运行Java程序?我是否需要将Java代码转换为JAR
文件
,然后执行?
浏览 1
提问于2016-11-13
得票数 1
1
回答
创建3节点
Hadoop
集群
、
、
我正在我的Ubuntu16机器和两台AWS EC2机器上创建3Node
Hadoop
集群
。 我的本地机器(Ubuntu16)将作为名称节点工作,另外两台亚马逊网络服务EC2机器将作为数据节点工作。1)我是否也需要在DataNodes (亚马逊网络服务EC2机器)上安装
Hadoop
,就像我在Name节点(我的本地机器)上安装的一样。?2)我能够在
集群
中的所有节点之间进行通信(将节点命名为数据节点,反之亦然)。在名称节点中,我需要在名称节点计算机中添加数据节点公共DNS,以便我的名称节点可以跨两个数据节点群集传播数据。
浏览 0
提问于2019-09-01
得票数 0
2
回答
Curl,Kerberos认证的
文件
副本
在
hadoop
上
、
、
、
我们需要在HDFS位置,HDFS
文件
夹之间建立一个
文件
副本
。我们目前已经在shell脚本循环中使用了curl命令,如下所示。op=RENAME&destination=/busy/rg/data/"$1"/"$table"/"$table"_$date1.dsv" 然而,这实现了
文件
的移动。我们需要建立一个
文件
副本
,这样
文件
就被维护在
浏览 1
提问于2017-07-05
得票数 1
2
回答
当不是所有
副本
都可以存储在
集群
上时,将
文件
存储在
Hadoop
上。
、
、
有人能告诉我,如果我的
Hadoop
集群
(复制因子= 3)只剩下15 6GB的空间,并且我试图保存一个大小为6GB的
文件
,会发生什么呢?hdfs dfs -put 6gbfile.txt /some/path/on/
hadoop
put操作会导致错误(可能是群集完全错误),还是会保存6GB
文件
的两个
副本
,并将无法在
集群
上保存的块标记为未复制的块,从而占用整个15 6GB的剩余
文件
?
浏览 1
提问于2015-04-28
得票数 3
回答已采纳
2
回答
无法在amazon emr中使用apache flink
、
、
、
我得到的错误信息是$ cd flink-0.9.0 $ .Diagnostics: File file:/home/
hadoop
/.flink/application_1439466798234_0008/flink-conf.yaml does not existjava.io.FileNotFoundException: File file:/home/
hadoop
/.flin
浏览 4
提问于2015-08-13
得票数 8
回答已采纳
1
回答
Hadoop
2.6.4和大
文件
、
、
我有一个简单的
集群
(3个节点)。每个节点都有大约30的空闲空间。当我查看
Hadoop
的概述站点时,我看到DFS仍然存在:90.96GB。我将复制因子设置为1。然后,我创建一个
文件
50 to,并尝试上传到HDFS。但空间没了。为什么?我不能上传超过一个
集群
节点空间的
文件
吗?
浏览 1
提问于2016-04-12
得票数 0
回答已采纳
1
回答
在Ubuntu上模拟
Hadoop
集群
、
、
、
我承认我是
hadoop
的新手,所以请容忍我。有没有什么办法可以在一个ubuntu安装上模拟多个节点来执行完全分布式的
hadoop
操作? 如果我的问题中有逻辑上的缺陷和事实上的不准确,我再次道歉。正如我所说的,我是
Hadoop
的新手。
浏览 1
提问于2013-09-16
得票数 0
2
回答
什么是本地DataNode?
、
、
我正在阅读雅虎在制作的
hadoop
模块,这里提到的是“本地DataNode”,我想知道什么是本地DataNode。
浏览 5
提问于2016-01-02
得票数 0
回答已采纳
1
回答
在其中一个datanodes倒下后
Hadoop
会做什么?
我有10个数据节点和2个名称节点,
Hadoop
集群
配置了3个
副本
,我想知道如果其中一个数据节点崩溃了,
hadoop
会在其他活着的节点上生成丢失的
副本
吗?或者什么也不做(因为还有两个
副本
)。添加,如果向下数据节点在一段时间后返回,
hadoop
能够识别该节点上的数据吗?谢谢!
浏览 1
提问于2015-12-25
得票数 5
回答已采纳
2
回答
是否会在
Hadoop
群集的所有节点上复制配置组表
、
、
当我创建配置单元表时,是否会在
Hadoop
群集的所有节点上创建该表?当我将数据加载到表中时,数据是否会跨所有这些节点进行复制? 我猜是吧?
浏览 1
提问于2015-09-15
得票数 0
1
回答
hadoop
复制因子混淆
我们有3个
hadoop
复制设置,即:dfs.replication.min = 1因此,dfs.replication是
hadoop
集群
中
文件
的默认复制,直到
hadoop
客户端使用"setrep“手动设置它为止。而
hadoop
客户端可以将最大复制设置为dfs.replication.mx.。
浏览 2
提问于2014-05-22
得票数 5
回答已采纳
1
回答
HDFS我可以指定每个
文件
的复制因子来增加均衡性吗?
、
假设我们将
文件
存储在
Hadoop
集群
中。有些
文件
非常受欢迎,并且会经常被请求(但不是经常将它们放在内存中)。保留更多的
文件
副本
(
副本
)是值得的。 我能在HDFS中实现它吗?
浏览 4
提问于2016-05-09
得票数 0
回答已采纳
2
回答
Hortontworks HA的Solr配置
、
、
我正在实现Hortonworks备用NameNode (高可用性),我想知道
如何
将Solr配置为指向
集群
名称而不是名称节点主机名?因为在故障转移的情况下名称节点可能会改变。
浏览 2
提问于2016-09-09
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何给Hadoop集群划分角色
新手如何快速搭建Hadoop集群
如何使用Mahout在hadoop进行集群分析
Solidworks自定义文件如何设置?
HDFS你必须要知道的知识点
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券