腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
动物园管理员和卡夫卡在
Hadoop
2.6
集群
中的位置
、
、
Hadoop
2.6使用Yarn作为下一代地图减少,同时也是
集群
管理器。对于
集群
管理服务,我们还需要使用
Hadoop
2.6中的ZooKeep2.6吗?我们
怎么
设置动物园管理员。如何为
hadoop
集群
安装Kafka
连接
。什么是卡夫卡的消费者和生产者将数据发送到
hadoop
文件系统。我已经设置了
Hadoop
2.6单
节点
集群
。接下来,我理解的方法是让动物园管理员和Kafk
浏览 2
提问于2015-07-27
得票数 4
回答已采纳
3
回答
Hadoop
客户端
节点
配置
假设有一个拥有20台机器的
Hadoop
集群
。在这20台机器中,有18台机器是从机,19台机器用于NameNode,20台机器用于JobTracker。现在我知道
hadoop
软件必须安装在所有这20台机器上。 但我的问题是,将文件xyz.txt加载到
Hadoop
Cluster涉及到哪台机器。客户端机器是否是一台独立机器。我们需要在那台clinet机器上安装
Hadoop
软件吗?客户端机器如何识别
Hadoop
集群
?
浏览 1
提问于2014-03-07
得票数 14
1
回答
如何断开
Hadoop
集群
内
节点
之间的网络
连接
?
我想向
hadoop
分布式系统注入一些故障。我已经使用docker容器构建了一个包含3个
节点
的
集群
。如果我想断开一个
节点
的
连接
怎么
办?我可以停止工作
节点
上的ssh服务吗?另外,如果我想模拟磁盘已满的故障,该
怎么
办?
浏览 27
提问于2021-08-02
得票数 1
回答已采纳
1
回答
通过VPN在
hadoop
群集之间传输数据
、
、
我想在两个
hadoop
2.6.0
集群
nn1和nn2之间复制一个文件。
集群
只能通过VPN
连接
,因此在namenode nn1上,我创建了一个到nn2的VPN
连接
(只需namenode到namenode),并在nn1上运行如下命令:
hadoop
distcp hdfs:/nn1中的数据
节点
之一。是不是因为我在
集群
nn1中的数据
节点
都没有
连接
到nn2
集群
?我想我只需要在命名
节点</em
浏览 3
提问于2015-12-10
得票数 1
2
回答
在openstack中安装
Hadoop
、
、
、
我有一个关于
hadoop
安装的问题。目前我在VirtualBox上使用镜像,但我想在openstack上创建一个
集群
。起初,我认为我只需要在openstack上实例化一个
hadoop
镜像,或者安装几个实例并使用
hadoop
docker镜像。但是我找到了几个Sahara openstack的例子。知道我已经与多个人共享了openstack,是否可以在不经过openstack Sahara的情况下创建
hadoop
集群
?或者不推荐这样做?
浏览 41
提问于2019-03-11
得票数 1
5
回答
将远程文件放入
hadoop
,而不将其复制到本地磁盘
、
、
、
、
我正在编写一个shell脚本,以便在数据生成后立即将其放入
hadoop
中。我可以ssh到我的主
节点
,将文件复制到那里的一个文件夹中,然后将它们放入
hadoop
。我正在寻找一个shell命令,以避免将文件复制到主
节点
上的本地磁盘。为了更好地解释我需要什么,你可以在下面找到我到目前为止所拥有的:scp test.txt username@masternode:/folderName/ 我已经使用密钥设置了SSH
连接
。2)我可以使用ss
浏览 0
提问于2012-06-30
得票数 36
回答已采纳
1
回答
Hadoop
备用SSH密钥
、
我正在设置一个多
节点
hadoop
集群
,并在
节点
之间拥有一个共享密钥以实现无密码SSH。我将文件命名为~/.ssh/
hadoop
_rsa,并可以使用ssh -i ~/.ssh/
hadoop
_rsa host
连接
到其他主机。我需要一些方法来告诉
hadoop
在
连接
到其他
节点
时使用这个备用SSH密钥。
浏览 0
提问于2015-09-11
得票数 2
回答已采纳
1
回答
如何设置
hadoop
集群
优先级?
、
我开始学习
Hadoop
了。我有一个
hadoop
服务器,它
连接
3个
集群
节点
。如果我运行一个MapReduce作业,它工作得很好。我需要为这些
集群
设置优先级。例如因为
集群
节点
具有不同的内存容量。所以我需要设置高内存
节点
将首先处理作业。
浏览 0
提问于2014-03-25
得票数 0
2
回答
设置(Windows)
Hadoop
群集
、
、
我已经在我的机器(Windows)上安装了
Hadoop
-0.20.2。我尝试使用主
节点
和从
节点
来设置
节点
集群
。但是我无法
连接
这些机器。存在密码身份验证错误。 如何解决这个问题?如果可能,请为我提供一个合适的链接,以便在
Hadoop
中设置多个
集群
。
浏览 2
提问于2011-12-22
得票数 1
2
回答
从
集群
外部访问hdfs
、
、
、
、
我在aws上有一个
hadoop
集群
,我试图通过
hadoop
客户机从
集群
外部访问它。(FsShell.java:304) at org.apache.
hadoop
.util.ToolRunner.run(ToolRunner.java:70) at org.apache.
hadoop
.util.ToolRunner.run(ToolRunne
浏览 3
提问于2016-02-10
得票数 0
回答已采纳
1
回答
卡夫卡
连接
能成为我的
Hadoop
集群
的一部分吗?
、
、
我目前正在使用一个
Hadoop
集群
,它由10个
节点
(1个名称
节点
和9个数据
节点
)组成,其中Hbase、Hive、Kafka、和
Hadoop
的其他回波系统正在运行。我们可以通过在同一个
集群
中使用合流源
连接
器和HDFS2 Sink
连接
器来做到这一点吗?或者我需要为Kafka创建一个单独的
集群
吗?
浏览 3
提问于2020-04-30
得票数 0
回答已采纳
3
回答
Hadoop
集群
配置
现在,我想要向
hadoop
群集添加新的Datanode。我需要停止或关闭
hadoop
群集,然后添加新的datanode吗?如何将新的datanode添加到
hadoop
群集
浏览 1
提问于2014-05-04
得票数 1
2
回答
hadoop
是
怎么
工作的?客户端如何
连接
到
hadoop
、
、
、
我对
hadoop
有基本的理解。我的问题是客户机/开发人员如何
连接
到
hadoop
集群
来执行查询。 例如,我是
hadoop
开发人员。某个远程位置的
Hadoop
集群
。如何
连接
到
hadoop
集群
来运行我的java代码?我是否也必须在我的笔记本电脑中安装
hadoop
(为此我必须运行Linux)?或者,如果我与
Hadoop
集群
在同一个网络中,只需在我的笔记本电脑中
浏览 4
提问于2014-11-07
得票数 1
回答已采纳
1
回答
谷歌云点击部署
hadoop
、
、
、
为什么google cloud click to deploy
hadoop
工作流程需要选择本地持久磁盘的大小,即使您计划将
hadoop
连接
器用于云存储?默认大小为500 GB。在google云中使用
hadoop
云存储
连接
器时,是否有推荐的持久化磁盘大小?“在Google Cloud平台上部署Apache
Hadoop
Hadoop
将部署在单个
集群
中。创建一个临
浏览 7
提问于2014-11-23
得票数 0
1
回答
Hadoop
2.x多
节点
群集安装
、
、
我是
hadoop
的新手。我在网上找到了一些关于安装
Hadoop
2.x多
节点
集群
的链接。我的疑问是,在所有
节点
上安装JVM、创建相同的用户名、ssh配置、在所有
节点
上进行配置之后,如何将客户机
连接
或配置到
集群
,以便将数据从本地复制到hdfs?
浏览 1
提问于2016-02-07
得票数 0
3
回答
hadoop
集群
中的边缘
节点
、
有人能给我解释一下
hadoop
中Edge
节点
的架构吗?我只能在互联网上找到定义,我有以下问题- 1)边缘
节点
必须是
集群
的一部分吗(如果它在
集群
内,我们有什么优势?)它是否在hdfs中存储任何数据块。2)边缘
节点
可以在
集群
外吗?
浏览 5
提问于2013-05-22
得票数 12
1
回答
Hadoop
分布式模式
这个问题可能看起来很琐碎,但我对
Hadoop
并不熟悉,目前被一个问题搞糊涂了。 启动守护进程时,如何在从
节点
上找到适当的文件?我知道您在适当的文件中指定了主程序和从
节点
,但是它如何知道该
节点
的文件系统上的位置(到
Hadoop
安装位置的路径)?我应该为此设置一些类似于
HADOOP
_HOME (或
HADOOP
_PREFIX)的东西吗?此外,我还看到,在主文件中,您只指定了次要名称
节点
,而名称Node和Job则被认为位于您调用start-all.sh的<em
浏览 0
提问于2015-06-09
得票数 0
回答已采纳
2
回答
“客户端”对
Hadoop
/ HDFS到底意味着什么?
、
我理解其背后的一般概念,但我希望得到更多的澄清和一个明确的定义,什么是“客户”。
浏览 7
提问于2017-04-05
得票数 12
回答已采纳
1
回答
如何在apache
hadoop
2.7.1上安装cloudera
、
、
我目前正在使用apache
hadoop
2.7.1,
集群
包括1个名称
节点
和3个数据
节点
。提前谢谢。
浏览 4
提问于2016-02-07
得票数 1
1
回答
在
hadoop
集群
中添加
节点
而不重新启动主服务器
、
、
我已经创建了
hadoop
集群
,并希望在
集群
中添加一个新
节点
,作为从
节点
运行,而不重新启动主
节点
。 这
怎么
能办到
浏览 3
提问于2022-05-05
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
《探错笔记》之redis集群出现单节点宕机应用无法正常连接
Hadoop教程:功能,组件,集群和拓扑
案例:HDFS分布式文件系统
量身打造Hadoop HDFS高性能客户端,构筑数据湖理想底座
XSKY打造Hadoop HDFS高性能客户端,构筑数据湖理想底座
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券