我正在的Hadoop集群上测试一些MapReduce作业的扩展，并发现一些意想不到的结果。简而言之，有人告诉我，这种行为的原因可能是每个Hadoop集群中的每个工作节点都有多个减速器插槽。有人能确认GCE的Hadoop集群上每个工人节点(worker VM)上的MapReduce作业的减速器插槽的数量吗？我正在使用hadoop2_env.sh部署。
浏览 4提问于2015-04-01得票数 1
回答已采纳
3回答
有人能给我解释一下hadoop中Edge节点的架构吗？我只能在互联网上找到定义，我有以下问题-
1)边缘节点必须是集群的一部分吗(如果它在集群内，我们有什么优势？)它是否在hdfs中存储任何数据块。2)边缘节点可以在集群外吗？
浏览 5提问于2013-05-22得票数 12
spark集群和Hadoop是独立的。Nodemanager和worker节点不重叠。
浏览 13提问于2017-08-28得票数 0
我们有基于ambari的Hadoop集群，因为thrift服务器的性能很差，我们决定用presto替换它。我们当前的Hadoop集群有以下机器960台数据节点机器(基于redhat 7操作系统) presto- Presto (或称PrestoDB)是一个开源的分布式SQL查询引擎，专为对任意大小的数据进行快速分析查询而设计它既支持非关系源，如Hadoop分布式文件系统(HDFS)， 我们安装了新的presto服务器，如下所示:首先，我们安装了操作系统( redhat 7)，总共安装了1
浏览 35提问于2019-04-18得票数 1
我使用了以下步骤在Windows中使用独立模式集群配置spark， SET SPARK_MASTER_IP =synclapn2881 SET SPARK_WORKER_DIR%\bin;%Path%;
步骤5
浏览 1提问于2015-04-22得票数 4
我在独立集群管理器中使用Spark1.5.1。星火的默认spark-assembly-1.5.1-hadoop2.6.0.jar包括Avro1.7.7。但是，当我以客户端模式将我的应用程序提交到集群时，执行者仍然使用Avro 1.7.7库。/avro/generic/GenericData.class
export SPARK_WORKER_OPTS="-Dspark.executo
浏览 0提问于2016-03-24得票数 1
我有一个AWS EMR集群，其中包含1个主节点、30个核心节点和一些自动扩展的任务节点。现在，成百上千的Hive和mysql作业由Oozie在集群上运行。我搜索了一下，将气流应用到我的集群中。我发现所有的dag都应该位于每个节点上，而且Airflow Worker必须安装在所有节点上。但是，我的dag将频繁更新，并频繁添加新的dag，但节点数量约为100个，甚至使用自动缩放的节点。
浏览 20提问于2019-09-24得票数 0
“我正在设置一个新的apache- setting 2节点集群”问题:从节点还没有开始。
在每个主机.bashrc文件中包含所有细节之后。我试着启动集群。主节点正在启动，而不是从节点。主节点在正确的进
浏览 0提问于2019-08-04得票数 1
我有一个3节点hadoop集群(DigitalOcean液滴)：
</property>
在我的所有节点上，我的/etc/host文件看
浏览 0提问于2019-06-15得票数 1
回答已采纳
使用Docker运行Hadoop的最简单方法(对dev‘和真实环境都适用)是什么？
也就是说，对于本地开发环境和实际环境的差异，应该仅仅是目的机。
浏览 4提问于2016-09-29得票数 4
1回答
为什么google cloud click to deploy hadoop工作流程需要选择本地持久磁盘的大小，即使您计划将hadoop连接器用于云存储？默认大小为500 GB。“在Google Cloud平台上部署Apache HadoopHadoop将部署在单个集群中。创建一个临时部署协调器VM实例来管理集群设置。
Hadoop集群使用云存储存储桶作为其默
浏览 7提问于2014-11-23得票数 0
我已经安装了ApacheSpark1.5.2(用于Hadoop 2.6+)。我的集群包含以下硬件：
SPARK_WORKER_MEMORY=120g
SPARK_WORKER_CORES=12
SPARK_WORKER_ME
浏览 9提问于2015-12-01得票数 3
我们有一个庞大的hadoop集群，我们安装了一个协调器preso节点和850个presto worker节点。所以在下面该文件如下所示我们想把它改成但这只在第一个节点- worker01上完成，但我们也需要在所有工作节点上执行我们可以通过scp将此文件
浏览 17提问于2019-03-29得票数 0
回答已采纳
我正在学习Spark，并希望运行由两台物理机器组成的最简单的集群。我已经完成了所有的基本设置，看起来还不错。自动启动脚本的输出如下所示：
[username@localhost sbin]$ ., logging to /home/sername/spark-1.6.0-bin-hadoop2.6/logs/spark-username-org.apache.spark.deploy.worker.Worker: starting org.apache.spark.depl
浏览 2提问于2016-02-16得票数 10
回答已采纳
我正在尝试向Hadoop1.2.1集群提交一个gi相图作业。集群有一个名称节点主节点、一个映射约简主节点和四个从节点。java.lang.IllegalStateException: checkLocalJobRunnerConfiguration: When using LocalJobRunner, must have only one workerip，从文件包含四个从服务器的私有ips。名称节点的主文件<em
浏览 5提问于2017-04-14得票数 1
回答已采纳
我有一个Nifi流，它将获取活动的NameNode，并将NN放入Flow文件属性中。现在，我想在下一个应用程序中使用NN属性，它是一个fetchHDFS处理器。
这是flowFile的属性，我对host_ip，Host_name感兴趣更新下面的图片是我的要求，路径和host_ip将出现在flowfile属性中，如果fetchHDFS不是正确的方式，我如何实现这一点。
浏览 0提问于2021-11-26得票数 0
我试图在机器A上运行Spark Master，在机器B上运行Spark Worker。我在Spark目录的conf/slaves中设置了机器B的主机名。当我执行start-all.sh来启动master和worker时，我在控制台上得到以下消息：
abc@abc-vostro:~/spark-scala-2.10$ sudo sh bin/start-all.sh.1XX.X.X: bash: /home/abc/spark-scala-2.10/bin/start-sl
浏览 1提问于2013-09-11得票数 0
1回答
根据我在“星火”、“泰坦”和“卡桑德拉”的文档中发现的信息，这样的最小设置如下所示：
星火奴隶是否只读取来自分析DC的数据，甚至从同一节点上的Cassandra读取数据？
浏览 5提问于2016-10-18得票数 4
回答已采纳
2回答
我们希望在redhat Linux machiens上构建一个新的hadoop集群( ambari集群)。我们的主机名是master02.fg.sys70.comworker01.fg.sys70.comworker03.fg.sys70.com
附加的“。在域构建新hadoop集群时可能会出现问题吗</em
浏览 2提问于2018-04-08得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
