1回答
在现有Hadoop集群上安装Spark
linux、hadoop、apache-spark
我们有一个(远程) Hadoop集群，人们通常在集群上运行map-还原作业。如果您以前已经这样做过，请给我详细的步骤，以便可以创建星系团。
浏览 1提问于2016-07-08得票数 6
2回答
虽然我增加了节点的数量，但火花csv的读取速度还是很慢的。
scala、csv、apache-spark、hadoop、google-compute-engine
我在上创建了两个集群，该集群读取100 GB的数据。集群I: 1主内存- 15 GB内存- 250 GB磁盘10节点- 7.5 GB内存- 200 GB磁盘 .option("inferSchema", true)
.option("maxColumns",9000
浏览 1提问于2018-07-19得票数 7
回答已采纳
1回答
Hadoop集群中的节点数
hadoop
我试图设置Hadoop多节点集群。*
127.0.0.1 localhost hadoop-master
961.118.98
浏览 2提问于2017-02-26得票数 2
回答已采纳
1回答
AWS EMR群集失败，因为磁盘已满
amazon-web-services、hadoop、amazon-emr
我在一个有大约10个节点的aws emr集群上运行一些Map-Reduce-Jobs。(emr 4.7.11，m3.xlarge)
当作业运行时，工作节点在大约4小时后一个接一个地开始死亡。如何配置AWS EMR集群以使用/mnt2？我尝试使用配置文件，但是集群现在失败了，错误为On the master instance (i-id), bootstrap action 6 returned a non-zero on bootstrap"mapr
浏览 1提问于2016-12-21得票数 2
3回答
我已经创建了hadoop多项式集群，并且在主节点和从节点中都配置了SSH，现在我可以在主节点中不使用密码连接从节点。日志：starting namenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-HNname-namenode-m
浏览 3提问于2015-10-03得票数 1
回答已采纳
1回答
Spark - on电子病历saveAsTextFile不会将数据写入本地目录
hadoop、apache-spark、emr
在尝试将RDD写入本地文件时，我在name/master节点上没有得到任何结果。在我之前的EMR集群上(使用bootstrap脚本安装了相同版本的Spark，而不是作为EMR的附加组件)，数据将写入name节点上的本地目录。现在我可以看到它出现在集群中其他节点上的"/home/hadoop/test/_temporary/0/task*“目录中，但只出现在主节点上的”成功“
浏览 2提问于2015-08-06得票数 0
1回答
Hadoop集群和客户端连接
hadoop、hive、client、apache-pig、cluster-computing
我有hadoop集群。现在我想把猪和蜂箱作为客户端安装在另一台机器上。客户端机器不会是该集群的一部分，所以有可能吗？如果可能的话，我是如何将客户机与集群连接起来的呢？
浏览 1提问于2016-11-10得票数 2
回答已采纳
2回答
强迫纱线在所有奴隶中部署火种任务
hadoop、apache-spark、hadoop-yarn、hadoop2
我一直在一个8节点集群上部署SparkPi示例。似乎与示例相关的任务并没有部署到集群中的所有节点，即使集群没有得到充分利用(没有运行其他作业)。下面是我如何启动SparkPi示例：但是，当我查看正在使用的节点时，我看到的是：
我觉得这是因为我在资源管理器中使用
浏览 4提问于2016-05-13得票数 3
1回答
无法启动苦都大师
apache-kudu
当启动大师时，我得到了下面的错误，无法启动酷都集群.F0706 10:21:33.464331 27576 master_main.cc:71]检查失败：_s.ok()坏状态:无效参数:无法初始化目录管理器:无法初始化sys表异步:磁盘主列表(hadoop他们的对称差异是:0，hadoop-主人:7051，slave3 2:7051，slave3 3:7051
它是一个由8个节点组成的集群，我已经提供了3个主节点，如下所示，在主节点上使用mas
浏览 0提问于2018-07-06得票数 0
1回答
Hadoop在亚马逊网络服务上给出"java.net.ConnectException连接被拒绝“
amazon-web-services、hadoop、amazon-ec2、hdfs、hadoop-yarn
几天前我在AWS上设置了Hadoop，并运行了一个wordcount测试。但这项任务在40分钟内没有任何进展。任何任务，包括上传的任务纱线也不起作用。我查看了日志文件，首先，resourcemanager的日志显示：Data
浏览 1提问于2018-08-31得票数 0
2回答
Hadoop如何为每个节点分配更多内存
hadoop、memory、config
我有一个在2个节点(主节点和从节点)上运行的Hadoop集群，每个节点都有126 32的RAM和32个CPU。当我运行集群时，我只能看到每个节点8 GB的内存。我如何增加这个值呢？每个节点分配的最优内存是多少?如何分配？
浏览 6提问于2015-04-11得票数 2
4回答
Amazon -当我们有核心节点时，任务节点的需求是什么？
hadoop、hadoop2、amazon-emr
我最近正在学习Amazon，据我所知，EMR集群允许我们选择3个节点。
Master，它运行主要的Hadoop守护进程，如NameNode、作业跟踪器和资源管理器。我问你们为什么EMR会提供任务节点？正如hadoop所建议的，我们应该在同一个节点上拥有Datanode守护进程和Tasktracker守护进程。亚马逊这么做背后的逻辑是什么？您可以将数据保存在S3流中，将其保存到核心节点上，在HDFS上进行处理，而不是将数据从HDFS共享到任务
浏览 6提问于2017-01-07得票数 23
1回答
从机上没有Hadoop组件的启动
linux、hadoop
我正在尝试使用我的两台笔记本电脑建立一个多节点hadoop集群，使用教程。这两台机器上的操作系统都是Ubuntu14.04。我设法在这两台笔记本上分别设置了单节点集群，但是当我尝试启动(在按照教程中的指示进行了所有必要的修改之后)，在我的主计算机上使用sbin/start-all.sh的多节点集群时，从服务器完全没有反应。/etc/hadoop中没有名为master的文件，所以我使用：touch
浏览 4提问于2015-05-17得票数 0
回答已采纳
1回答
适用于多节点Hadoop群集的Windows 7和vmware ubuntu映像- IP地址配置
ubuntu、hadoop、cluster-computing
我是ubuntu和Hadoop的新手...有没有可能让两个ubuntu镜像分别充当一个虚拟机，这样就可以模拟集群配置(尽管这不是理想的集群)？如果是这样，这两个虚拟机是否能够通信？VM 1 (ubuntu) - Hadoop master
VM 2 (ubuntu) - Hadoo
浏览 1提问于2012-09-07得票数 1
回答已采纳
1回答
在Hadoop0.23.0上运行示例时作业挂起
hadoop、mapreduce
我试图在Hadoop0.23.0中添加容量调度程序，并尝试运行一个示例pi，即随机编写程序。我看不见积木的地方。LOG_DIR> -Dyarn.app.mapreduce.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Xmx1536m org.apache.hadoop.mapreduce.v2
浏览 2提问于2012-06-08得票数 1
1回答
如何使用Docker在完全分布式模式下配置Hbase集群
docker、hbase、apache-zookeeper
我正在以完全分布式模式设置一个HBase集群，其中包含1个HMaster节点和3个Regionservers节点<configuration> <value>hdfs://hadoop.master:9000/data/hbase</value>
<
浏览 0提问于2015-11-04得票数 1
回答已采纳
3回答
AWS EMR Hadoop管理
hadoop、amazon-web-services、emr
我们目前在组织中使用Apache Hadoop (Vanilla版本)。我们计划迁移到AWS EMR。我正在尝试了解AWS EMR Hadoop的内部工作原理(不是如何使用它)，我主要对Hadoop管理步骤以及主从如何通信以及各种配置配置感兴趣。我已经检查了AWS EMR文档，但没有看到详细的比较。有人能推荐我一个从Apache Hadoop迁移到AWS EMR的链接/教程吗？
浏览 2提问于2015-05-26得票数 0
1回答
我是初级程序员和hadoop学习者。在启动maptask和hdfs之前，我正在使用5台PC(具有双核cpu和ram 2G)测试hadoop全分发模式，我知道必须配置文件( Ip上的etc/hosts、主机名和hadoop文件夹/conf/master、从文件)，所以我完成了该文件的配置
在我公司的研讨会上辩论时，我的老板和首席执行官坚持认为，即使hadoop应用程序处于运行状态，如果hadoop需要更多的节点或集群，<em
浏览 1提问于2013-03-11得票数 2
0回答
scp报错？
linux、分布式、hadoop
Hadoop分布式集群安装问题解决：linux下scp把master配置好的hadoop文件传到slave节点报No such file or directory错误的解决
浏览 164提问于2022-09-20
1回答
使用Docker运行Hadoop (用于DEV和PROD环境)
hadoop、docker
使用Docker运行Hadoop的最简单方法(对dev‘和真实环境都适用)是什么？
也就是说，对于本地开发环境和实际环境的差异，应该仅仅是目的机。
浏览 4提问于2016-09-29得票数 4
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号