腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3338)
视频
沙龙
1
回答
如何配置和重新启动在Azure上运行的HDInsight群集?
、
、
、
、
具体地说,我希望更改在Microsoft Azure上运行的HDInsight
集群
中每个节点的映射器的最大数量和缩减程序的最大数量。 使用远程桌面,我登录到了head节点。然后,我运行了一个流式mapreduce,将所需数量的reducers传递给
hadoop
-streaming.jar,但是reducers的数量仍然受到以前的mapred.tasktracker.reduce.tasks.maximum
浏览 0
提问于2013-06-27
得票数 1
1
回答
如何将pyspark数据帧写入不同
hadoop
集群
、
、
我正在尝试备份我从pyspark程序写入
hadoop
集群
的数据。我可以这样做吗? 现在,我正在获取一个
hadoop
集群
客户端
配置文件
,该
配置文件
在环境变量中设置
Hadoop
集群
的详细信息。如果没有,我应该
怎么
做?
浏览 18
提问于2020-06-03
得票数 0
1
回答
Pentaho的"
Hadoop
文件输入“(Spoon)在尝试从HDFS读取文件时总是显示错误
、
、
、
、
我刚接触宾得和勺子,我正在尝试处理来自本地
Hadoop
节点的文件,其中包含了Spoon中的"
Hadoop
文件输入“项。问题是,到目前为止,我尝试过的每个URI似乎都不正确。
浏览 2
提问于2017-07-28
得票数 0
5
回答
在外部
hadoop
集群
中,如何通过由H/A namenodes组成的URI访问hdfs?
、
、
由于我们的
hadoop
集群
是由namenode H/A组成的,而spark
集群
位于
hadoop
集群
之外(我知道这很糟糕),所以我需要为应用程序指定HDFS URI,以便它能够访问HDFS。但是它不识别名称服务,所以我只能提供namenode的URI之一,如果它失败了,请
修改
配置文件
,然后再试一次。你能提出其他选择吗?
浏览 3
提问于2015-06-12
得票数 10
回答已采纳
1
回答
如何确定
Hadoop
使用的所有默认端口并更改所有端口?
、
、
、
我在运行CentOS 6.4的三台虚拟机
集群
上试用了
Hadoop
2。 我成功地启动了
hadoop
集群
,尽管
Hadoop
2的
配置文件
(如:、、和 )非常折磨我。我想更改
Hadoop
2使用的所有默认端口。
配置文件
的正式文档定义了这么多端口号。因此,我认为最好确定
Hadoop
在运行时使用哪些端口,然后更改所有端口。那么,如何找到运行CentOS的
集群
中
Hadoop
使用的所有默认端口呢?谢谢。
浏览 3
提问于2013-08-14
得票数 0
回答已采纳
1
回答
纱线-site.xml丢失
、
、
、
我正在尝试安装
hadoop
-2.2.0。我使用了以下命令 在此之后,我必须更改
HADOOP
中的文件。第一个问题是&
浏览 0
提问于2015-02-06
得票数 0
3
回答
Dataproc:配置火花驱动程序和执行器log4j属性
、
正如前面的答案所解释的,更改星火
集群
的详细内容的理想方法是更改。但是,在dataproc上,Spark运行在Yarn上,因此,我们必须调整全局配置,而不是/usr/lib/spark/conf。若干建议: 在dataproc上,我们有几个gcloud命令和属性,可以在
集群
创建过程中传递。可以更改/etc/
hadoop
/conf下的log4j.properties吗?--properties 'log4j:
hadoop
.root.logger=W
浏览 6
提问于2016-03-23
得票数 5
回答已采纳
1
回答
如何使用HDFS shell访问两个或更多远程
Hadoop
文件系统?
、
由于各种原因,我在机器A上安装了一个
hadoop
,在
集群
B上安装了第二个
hadoop
,在
集群
C上安装了第三个
hadoop
。示例:在机器A上登录时,我想使用如下语法将一个文件从
集群
B复制到
集群
C: hdfs dfs -cp hdfs://nn1.exampleB.com/file1 hdfs://nn2.exampleC.com在不
修改
XML
配置文件
的情况下,上述语法是否有效?
浏览 2
提问于2014-02-26
得票数 0
4
回答
“
hadoop
-ls”列出了当前工作目录中的文件
、
我遵循
Hadoop
上的,它指示使用命令
hadoop
fs -ls列出文件。但是在我运行Ubuntu的机器上,它会将文件列在当前的工作目录中。我做错了什么?which
hadoop
命令给出输出: /home/usrname/
hadoop
-2.5.1//
hadoop
这条道路上的双斜杠是造成这个问题的原因吗?
浏览 5
提问于2014-12-29
得票数 3
回答已采纳
1
回答
如何为Kerberized
集群
配置Apache NiFi
、
、
、
、
但是,当我尝试设置Apache NiFi来访问Hive或HDFS时, Kerberized
集群
。我有问题了。 有人能指导我设置HDFS/Hive/HBase (与Kerberos一起)的文档吗?
浏览 4
提问于2016-12-23
得票数 3
2
回答
用CDH4.3配置Hue
、
我试图用CDH 4.3配置色调。我面临HDFS的配置错误。它说“当前值: 文件系统根'/‘应该属于'hdfs'",但在我的示例中,所有者根文件夹是用户,所以我如何告诉hue根文件夹的所有者是用户。
浏览 6
提问于2013-08-17
得票数 0
1
回答
(HDFS)如何在
集群
中安全地复制大数据?
、
因此,我尝试复制50次,以使其更大,但每次我尝试
hadoop
-cp命令时,我的一些datanode就会死掉。简而言之,有什么方法可以在
hadoop
集群
中安全地复制大型数据吗? 还是我必须
修改
一些
配置文件
?
浏览 0
提问于2013-08-23
得票数 1
回答已采纳
3
回答
Hadoop
客户端节点配置
假设有一个拥有20台机器的
Hadoop
集群
。在这20台机器中,有18台机器是从机,19台机器用于NameNode,20台机器用于JobTracker。现在我知道
hadoop
软件必须安装在所有这20台机器上。 但我的问题是,将文件xyz.txt加载到
Hadoop
Cluster涉及到哪台机器。客户端机器是否是一台独立机器。我们需要在那台clinet机器上安装
Hadoop
软件吗?客户端机器如何识别
Hadoop
集群
?
浏览 1
提问于2014-03-07
得票数 14
2
回答
在intellij中将配置单元连接到from spark
、
我将
hadoop
集群
配置文件
放在本地机器上,并在Intellij运行此spark程序的配置中配置了环境变量
HADOOP
_CONF_DIR,以便能够检测此
hadoop
集群
,但intelliJ不知何故无法读取这些文件有没有办法将intelliJ配置为在本地读取
hadoop
配置文件
。任何帮助都是非常感谢的。
浏览 3
提问于2018-02-14
得票数 0
1
回答
CDH-5.4.0、spark-on-yarn、cluster-mode和Java
、
、
、
我有一个带有spark-on-yarn的CDH-5.4.0,4节点
集群
。我有一个环境变量YARN_CONF_DIR,它指向一个目录,该目录包含从
集群
成员之一获取的
配置文件
的副本(其中是yarn资源管理器的地址)。
浏览 1
提问于2015-05-12
得票数 3
2
回答
设置(Linux)
Hadoop
集群
、
、
是否需要先设置Linux
集群
才能设置
Hadoop
集群
?
浏览 0
提问于2009-09-30
得票数 3
1
回答
将Apache
Hadoop
从2.4.1升级到2.6.0
我想升级2.4.1到2.6稳定版本。是否就像用最新的文件夹内容替换所有文件夹一样简单?
浏览 3
提问于2015-03-20
得票数 2
回答已采纳
1
回答
如何将内容同步到所有节点
、
、
我跟踪这个,试图在我的
集群
上安装和配置火花。我的
集群
(5个节点)托管在AWS上,并从Cloudera安装。非常感谢!
浏览 4
提问于2014-02-28
得票数 2
回答已采纳
3
回答
hadoop
集群
中的边缘节点
、
有人能给我解释一下
hadoop
中Edge节点的架构吗?我只能在互联网上找到定义,我有以下问题- 1)边缘节点必须是
集群
的一部分吗(如果它在
集群
内,我们有什么优势?)它是否在hdfs中存储任何数据块。2)边缘节点可以在
集群
外吗?
浏览 5
提问于2013-05-22
得票数 12
2
回答
如何知道映射器(或减速器)是否在
Hadoop
中并行运行?
、
、
、
我目前在一个有8个从节点的
Hadoop
- 2.3.0
集群
上运行一些MapReduce作业,但是这些作业的执行时间比预期的要长。 如何测试map(或reduce)任务是否并行运行?为了使Mappers(在本例中是8个)并行运行,必须在
配置文件
中
修改
哪些属性。
浏览 0
提问于2015-04-11
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop集群配置
新手如何快速搭建Hadoop集群
大数据集群服务安装-zk,hadoop,hbase
Hadoop完全分布式搭建
Kettle集群环境搭建和部署
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券