腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4570)
视频
沙龙
1
回答
谷歌云点击
部署
hadoop
hadoop
、
google-cloud-storage
、
google-cloud-platform
、
google-hadoop
“在Google Cloud平台上
部署
Apache
Hadoop
Hadoop
将
部署
在单个
集群
中。默认
部署
创建1个
主
VM实例和2个工作VM,每个实例具有4个vCPU、15 GB内存和500 GB磁盘。创建一个临时
部署
协调器VM实例来管理
集群
设置。
Hadoop
集群
使用云存储存储桶作为其默认文件系统,可通过Goo
浏览 7
提问于2014-11-23
得票数 0
2
回答
通过Ambari安装
Hadoop
多
节点
群集
hadoop
、
ambari
为了通过ambari在
hadoop
中设置多
节点
集群
,我们是否需要在两个主机上使用相似类型的操作系统,或者不同的操作系统也可以工作。例如,我的1台主机的操作系统为7
分
,而其他主机的操作系统为6
分
,因此设置是否成功,或者会出现错误。
浏览 1
提问于2017-08-10
得票数 0
1
回答
Google计算引擎上的
Hadoop
hadoop
、
google-compute-engine
、
google-hadoop
我试图通过“启动点击
部署
软件”在中安装
hadoop
集群
,.I创建了一个
主
节点
和一个从
节点
,并尝试使用
主
节点
中的start-all.sh脚本启动
集群
,而我得到了“拒绝权限(公开密钥)”。我在从
节点
和
主
节点
中都生成了公钥和私钥。 目前,我用用户名登录了
主
用户,是否必须以"
hadoop
“用户.If的身份登录
主
用户,那么,该u
浏览 2
提问于2014-11-11
得票数 1
回答已采纳
1
回答
运行并行作业本地动态spark
集群
apache-spark
、
spark-streaming
我是spark的新手,我们需要设置一个动态spark
集群
来运行多个作业。通过参考一些文章,我们可以使用EMR (Amazon)服务来实现这一点。有没有什么方法可以在本地完成相同的设置?一旦Spark
集群
可用于在不同服务器上的不同端口上运行的服务,如何为每个作业将迷雾指向新的spark
集群
。提前谢谢。
浏览 9
提问于2020-03-16
得票数 0
1
回答
添加pyspark脚本作为AWS步骤
amazon-web-services
、
pyspark
、
amazon-emr
spark.yarn.submit.waitAppCompletion=true,<s3 location of pyspark script>],ActionOnFailure=CONTINUE conf = SparkConf().setAppName('Project').set("spark.jars", "
浏览 7
提问于2020-03-23
得票数 0
3
回答
hadoop
集群
中的边缘
节点
hadoop
、
bigdata
有人能给我解释一下
hadoop
中Edge
节点
的架构吗?我只能在互联网上找到定义,我有以下问题- 1)边缘
节点
必须是
集群
的一部
分
吗(如果它在
集群
内,我们有什么优势?)它是否在hdfs中存储任何数据块。2)边缘
节点
可以在
集群
外吗?
浏览 5
提问于2013-05-22
得票数 12
3
回答
Hadoop
客户端
节点
配置
hadoop
假设有一个拥有20台机器的
Hadoop
集群
。在这20台机器中,有18台机器是从机,19台机器用于NameNode,20台机器用于JobTracker。现在我知道
hadoop
软件必须安装在所有这20台机器上。 但我的问题是,将文件xyz.txt加载到
Hadoop
Cluster涉及到哪台机器。客户端机器是否是一台独立机器。我们需要在那台clinet机器上安装
Hadoop
软件吗?客户端机器如何识别
Hadoop
集群
?
浏览 1
提问于2014-03-07
得票数 14
1
回答
在
hadoop
集群
中添加
节点
而不重新启动
主
服务器
hadoop
、
hdfs
、
hadoop-yarn
我已经创建了
hadoop
集群
,并希望在
集群
中添加一个新
节点
,作为从
节点
运行,而不重新启动
主
节点
。 这
怎么
能办到
浏览 3
提问于2022-05-05
得票数 0
1
回答
从hdfs、
集群
设置和使用中获取弹性搜索中的数据
hadoop
、
elasticsearch
、
apache-spark
、
cluster-computing
、
elasticsearch-hadoop
我在相同的实例上有hdfs数据
节点
和火花
主
节点
。所有的实例都是相同的,16G双核(不幸)。 我还有3台机器,同样的规格。现在我有三个选择,1.在这3台机器上
部署
es。
集群
看起来像1-
主
(火花和hdfs) 6-火花工作者和hdfs数据
节点
3-elasticsearch
节点
。在1上
部署
es主程序,扩展spark和hdfs,在所有
浏览 1
提问于2016-12-22
得票数 0
1
回答
如何结合
hadoop
streaming使用docker工具箱解决多
节点
集群
的map reduce问题
docker
、
mapreduce
、
cluster-computing
我能够使用docker使用单个
节点
来解决map reduce问题。但现在对于多
节点
,我需要连接到另一台PC。如何获取docker容器内作为我的从
节点
的其他计算机的IP地址?
浏览 11
提问于2019-04-04
得票数 0
1
回答
如何从windows(安装在Linux服务器上的
Hadoop
)配置eclipse中的map减少插件
eclipse
、
hadoop
、
mapreduce
我正在尝试从一个不是
hadoop
集群
一部
分
的windows机器连接
hadoop
集群
。基本上,我们在linux服务器机器上安装了
hadoop
。所以没有GUI可用。因此,我们所要做的就是在windows机器上使用
hadoop
eclipse插件运行eclipse。并试图从windows机器上运行代码。我无法弄清楚如何从这台窗口机器到
hadoop
主
节点
运行map还原程序。
浏览 2
提问于2012-10-16
得票数 1
1
回答
使用同一个jar与火花-提交
apache-spark
、
hadoop-yarn
我
部署
了一个作业的纱线
集群
模式,通过火花提交与我的jar文件。我每次提交“相同的jar文件”时,作业都会进行
部署
,但每次提交时它都会上传到
hadoop
。我认为每次上传相同的jar是不必要的。
浏览 4
提问于2017-05-15
得票数 0
回答已采纳
1
回答
Ganglia无法与Apache HBase通信。
hadoop
、
hbase
、
monitoring
、
ganglia
我安装了Ganglia来监视HBase
集群
。我在用ganglia-3.3.0。
Hadoop
版本:
hadoop
-1.1.2 我更改了hbase/conf/
hadoop
-metrics.properties文件。hbase
浏览 1
提问于2015-02-16
得票数 1
回答已采纳
1
回答
被删除的google存储目录在调用Spark DataFrame.saveAsParquetFile()时显示“已经存在”。
google-cloud-storage
、
google-hadoop
在我通过Google控制台删除了目录(该目录由早期Spark (ver1.3.1)作业生成)之后,当重新运行作业时,它总是会失败,并且似乎该目录仍然存在于作业中;我无法用gsutil找到该目录。我所犯的错误:at scala.sys.package$.error(package.scala:27) at org.apache.spark.sql.parquet
浏览 2
提问于2015-07-10
得票数 0
回答已采纳
1
回答
如何:火花纱簇
apache-spark
、
hadoop-yarn
、
hadoop2
我已经安装了一个
hadoop
集群
,其中有3台机器,一台主计算机和2台从机。SPARK_
HADOOP
_VERSION=2.4.0 SPARK_YARN=true sbt/sbt clean assembly Then i ran SPARK_JAR=./assembly/target/s
浏览 1
提问于2014-10-23
得票数 0
回答已采纳
1
回答
FLINK :
部署
需要超过60秒
apache-flink
、
amazon-emr
我刚开始使用flink,并试图在EMR
集群
上
部署
jar。我使用了3个
节点
集群
(1个
主
服务器和2个从
节点
)进行默认配置。我没有做任何配置更改,并坚持默认配置。在我的
主
节点
上运行以下命令:我得到了以下错误: INFO org.apache.flink.yarn.YarnCl
浏览 1
提问于2018-05-11
得票数 0
1
回答
在非
集群
计算机上编译
Hadoop
MapReduce并在
Hadoop
集群
上运行。
java
、
maven
、
hadoop
、
mapreduce
、
cloudera
我已经阅读了很多关于
Hadoop
的文档和信息,但是我不知道如何实现这个简单的工作流: 我希望能够将这些MapReduce作业集成到外部应用程序中,并能够透明地运行它们。看起来,所有的开发/编译/运行都应该在存在bin/
hadoop
命
浏览 4
提问于2016-01-04
得票数 0
回答已采纳
1
回答
在
Hadoop
集群
中为MapReduce作业
部署
JAR
hadoop
我在CentOS linux中有一个5
节点
hadoop
集群
。我写了一张地图,还原并编译了这个罐子。我需要将JAR
部署
到哪个
节点
? 提前谢谢。
浏览 7
提问于2015-06-15
得票数 2
1
回答
如何指定在提交Spark应用程序时从HDFS读取数据的位置?
apache-spark
、
hdfs
我一直试图在三台机器(
主
、slave1和slave2)上
部署
一个火花多
节点
集群
。我已经成功地
部署
了spark
集群
,但是对于如何在从服务器上分发我的HDFS数据感到困惑吗?是否需要手动将数据放在从
节点
上,以及如何指定从客户端提交应用程序时从何处读取数据?我已经搜索了多个论坛,但没有找到如何在没有使用
Hadoop
的情况下使用HDFS与Spark。
浏览 0
提问于2017-12-03
得票数 0
回答已采纳
1
回答
为
Hadoop
Namenode备份添加QJM或NFS
hadoop
我计划在云上
部署
一个
hadoop
集群
,其中包含1个
主
节点
、3个Datanodes和1个边缘
节点
。在这样做之前,我想记住
部署
策略,以便为Namenode创建一个备份
节点
。我读过辅助namenode帮助
主
节点
更快地启动并更新Editlog和fsimage。但是,如果
主
节点
失败,则不能将其用作Namenode。如果我能得到一些澄清,我会很高兴。另外,我想知道关于Namenode高可用性的
浏览 2
提问于2014-06-12
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
新手如何快速搭建Hadoop集群
每日3分钟技术干货
4.HBase 运行模式
菜鸟的Hadoop快速入门
大数据平台 Hadoop 的分布式集群环境搭建
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券