我正在使用 spark version 2.4.7-bin-hadoop.2.7java 8 具有1个主节点和2个工作节点的spark群集正在作为独立群集spark配置运行 spark.masterspark.driver.memory 500M 主启动脚本为${SPARK_HOME}/sbin/start-master.sh 从启动脚本为${SPARK_HOME}/sb
浏览 31提问于2021-04-17得票数 0
我是在客户端模式下在纱线上运行Spark，所以我希望纱线只为执行者分配容器。然而，据我所见，似乎也为驱动程序分配了一个容器，而且我没有像我所期望的那样得到更多的执行者。
我正在主节点上运行火花提交。同时，Spark的节点选项卡显示在未实际使用的节点上(至少根据Spark的执行程序页.)使用9GB内存分配了一个容器。其余节点的容器在它们上运行，每个节点的内存为11 of。因为在我的Submit中，驱动程序的内存比执行器少2GB，所以我认
浏览 1提问于2018-07-29得票数 5
回答已采纳
当在PySpark驱动程序中创建新的Python进程(例如，使用JobLib或其他多处理库)时，这些进程是共享Spark驱动程序内存，还是在该PySpark驱动程序JVM之外分配内存？
浏览 17提问于2018-07-21得票数 2
回答已采纳
假设我有一个在客户端模式下运行的spark驱动程序。如果我命令'kill -9 xxx‘，而xxx是驱动程序的进程号，会发生什么？是否会收集分配给驱动程序的执行器和工作程序。
浏览 16提问于2018-08-13得票数 0
我们正在向集群部署模式下的独立集群提交作业(即在Spark中运行的驱动程序)，并希望能够跟踪作业的进度并对其进行检测。为了做到这一点，我们需要知道Spark分配给驱动程序进程的驱动程序的ID，但我还没有看到从运行的应用程序中获得该信息的任何方法，因为它不会以任何方式通过Spark上下文公开(只公开应用程序ID，这是不相同的
浏览 0提问于2018-08-14得票数 1
2回答
火花驱动器内存计算
、、、、
我知道如何计算执行器核心和memory.But，谁能解释spark.driver.memory是基于什么基础计算的？
浏览 0提问于2018-12-05得票数 1
回答已采纳
1回答
我知道下面是星体集群所需的守护进程。主控
我有一些关于星火在纱线集群上建立时非常基本的问题。是否有任何主守护进程或工作守护进程分别为火花启动？我知道资源经理和纱线集群的供应商本身将成为火花工作的主人和工人。从本文看，似乎没有单独的主/从守护进程用于纱线上的火花。当我们试图在现有纱线上设置spark时，是否需要在提交sp
浏览 2提问于2016-02-01得票数 2
回答已采纳
我在AWS中创建了一个3个节点(1个主节点，2个工作节点)的Apache Spark集群。我可以从主机向集群提交作业，但是我不能让它远程工作。/* SimpleApp.scala */import org.apache.spark.SparkContext._
importMaster at spark://ip-171-13-22-125.ec2.internal:707
浏览 2提问于2017-02-05得票数 9
回答已采纳
假设spark集群是一个独立的集群。具有1 1GB内存的主设备和具有1 1GB内存的从设备。
我的意思是，如果你提交的程序比它本身的集群需要更多的内存，会发生什么？
浏览 0提问于2016-04-19得票数 0
1回答
我阅读了集群模式概述(链接：)，我想知道如何将驱动程序、执行器和工作节点等组件映射到Spark生态系统的组件上，如Spark核心、Spark SQL、Spark Streaming、Spark MLlib、Spark GraphX和调度/集群管理器。这些组件中的哪些是用于驱动程序、执行器和工作节点的？
所以基本上我的问题是，在Spark的组件(图1)和Spark的生态系统
浏览 11提问于2021-11-30得票数 0
我在每台机器上都安装了spark。ub1是我的主节点，其他节点作为从节点工作。我的问题是，火花驱动到底是什么？我们是否应该通过spark.driver.host将IP和端口设置为spark驱动程序，以及它将在哪里执行和定位？(主或从)
浏览 2提问于2014-07-09得票数 65
我尝试在单个虚拟机上以独立模式运行spark-submit的spark streaming应用程序，但worker没有分配到驱动程序。我一直收到这样的警告：“初始作业没有接受任何资源；检查您的集群UI以确保工作进程已注册并具有足够的资源”。
但问题是，没有其他应用程序在运行，而且有足够的内存，所以资源不是问题。当我查看Spark UI时，我看到应用程序正在运行，但它处于“等待”状态。我还得到了这两个WARN-ings：“您的主机名，HOST_NAME将
浏览 0提问于2016-03-11得票数 0
当我有一个可以并行化为500个进程的过程时，在这个上下文中，我的最佳火花设置是什么？我是个新手，spark.driver.memory、spark.executor.memory和spark.driver.maxResultSize的含义对我来说还不太清楚。但从文档来看，这些变量是优化分配的关键。
浏览 2提问于2017-07-16得票数 1
我正在学习如何使用spark，我有一个简单的program.When，我运行了jar文件，它给了我正确的结果，但我在stderr file.just中有一些错误，如下所示：./bin&#
浏览 2提问于2015-05-19得票数 3
是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？
浏览 3提问于2021-03-25得票数 0
1回答
我知道在启动spark应用程序时，驱动程序进程会在工作节点上启动executor进程。但它到底是如何做到这一点的( spark源代码的低级术语)？
哪些spark类/方法实现了该功能？
浏览 0提问于2017-03-22得票数 0
现在我正在考虑在我的Hadoop Yarn集群上安装Apache Spark，同样具有HA功能。我有三个节点集群(NN1、NN2、DN1)，下面的守护进程当前在每个服务器上运行，
Nodes running in Master NameNode
浏览 1提问于2016-03-23得票数 0
我运行的任何火花作业都会失败，并出现以下错误消息
您可以从作业时间线中注意到，它无限期地运行，没有添加或删除任何资源。
浏览 7提问于2017-06-16得票数 7
回答已采纳
1回答
我正在尝试使用自定义构建的JVM部署一个Spark独立集群。运行Spark主进程和Spark进程是可以的，但是一旦驱动程序启动并将工作发送给主进程，工作人员就会崩溃，因为它试图通过查看JAVA_HOME/bin/java来发送执行程序。
浏览 0提问于2016-05-25得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
