Spark Application Master是按作业或按会话计算的。在文档中，它指出每个应用程序等同于每个作业
浏览 15提问于2017-08-12得票数 0
1回答
我希望从概念上理解在Spark内核(如SparkMagic)上运行的几个Jupyter笔记本如何共享一个工作节点集群。如果用户A在计算单元中持续或缓存了一个大的RDD (无论是在磁盘上还是在内存中)，然后出去度周末，但没有停止他/她的笔记本，这是否会降低其他用户在用户A的笔记本运行时运行其作业的能力？也就是说，共享集群的所有Spark notebooks将能够同时提交作业
浏览 20提问于2021-01-25得票数 1
我无法理解为Map Reduce和Spark作业分配资源的内部机制。在同一个集群中，我们可以运行Map Reduce和Spark作业，但是对于运行map reduce作业，内部资源管理器将为作业分配可用的资源，如数据节点和任务跟踪器。在内部执行我所需的N个数的映射器和减速器。这是否意味着Map Reduce和S
浏览 1提问于2017-06-10得票数 1
2回答
我有大约10个Spark作业，每个作业都会做一些转换并将数据加载到数据库中。Spark会话必须为每个作业单独打开并关闭，每次初始化都会耗费时间。是否可以只创建一次Spark会话，并在多个作业中重复使用该会话？
浏览 32提问于2019-04-15得票数 2
4回答
第一步是使用我们的应用程序名获取/创建一个闪烁会话。dataLoader.py的结构概述如下。spark = SparkSession \ .appName('POC') \ #create data frame from file如果我必须同时执行这个dataLo
浏览 0提问于2018-09-19得票数 4
1回答
"check_100": [sql_query_2}目前，我运行的是check_1，然后是check_2，等等。这很慢。我试图使用joblib库对任务进行并行化，但是得到了一个错误的结果。另外，要知道在火星雨中使用多线程并不是个好主意。
我怎样才能在这里实现并行？我的想法<e
浏览 11提问于2022-04-28得票数 0
1回答
我们正在运行作业，其参数来自网页，并在星火集群上的大型文件上执行。处理后，我们希望返回数据，并将其写入文本文件。rdd.saveAsTextFile(path) 也就是说，我们可以有一个文件列表，并将结果发送回监视(摘要)和显示文件内容的详细页面。
浏览 0提问于2016-11-14得票数 4
我有一个关于火花执行的问题。我的问题是哪一个是正确的-一个作业集合对应于一个动作，还是每个作业对应一个动作。这里的job是指可以在Spark execution UI中看到的作业。
我认为后者是正确<
浏览 1提问于2019-10-30得票数 1
问题是，您需要启动单独的JVM来创建每个作业具有不同数量RAM的单独会话。我的应用程序运行在单个服务器上，在单个JVM中。这在每个JVM范型的Spark会话中都出现了问题。火花范式是这样说的：
1 JVM => 1 app
浏览 7提问于2017-05-16得票数 7
回答已采纳
我正试图了解SnappyData的“统一集群模式”部署拓扑中的所有"Spark“部分在哪里。
流在..。-领导还是服务器？
浏览 0提问于2016-08-09得票数 1
回答已采纳
我想知道什么时候从集群中删除机器上的节点是安全的。 GET http://<rm http address:port>/ws/v1/cluster/nodes<node>
浏览 2提问于2019-03-09得票数 1
我正在使用drools和spark streaming。我希望在整个作业过程中在spark streaming上下文中维护KieSession。spark中每个工作节点的每个会话。我理解kiesession是插入和询问事实的地方。根据我的理解，会话实际上是构建rete网络并将事实插入到alpha和beta内存中的会话。因此，我<
浏览 2提问于2017-08-30得票数 3
1回答
我在sbt中有一个项目，想编译多个jar，这些jar都包含不同的主类，可以提交给spark。由于这种jar非常多，而且它们中的大多数都有一些共同的依赖关系，所以将它们划分到不同的子项目中是不方便的。所有这些主类源文件都在同一个目录中，比如在src/ main /scala/com.xx.yy下。那么如何编写build.sbt来将所有主类编译到不同的jars中，或者使用主
浏览 2提问于2019-09-11得票数 1
我正在运行一个测试作业，它将压缩的5 5gb数据转储到mongoDB中。我有1个主服务器和3个从服务器，每个主机16个CPU，内存30 16。在作业提交之后，似乎.I只使用了2个从节点用于作业，并为作业分配了32个核心，尽管我使用的是动态分配，因为我的spark作业是这个集群上唯一运行的作业，因此我预计大约有47个核心(1个用于
浏览 0提问于2017-10-04得票数 0
允许通过REST，提交作业。也有同样的，但使用的是Java而不是curl。1)通过SparkSession从我的主要应用程序提交的作业： new SparkConf()SparkSession.builder().config(configuration).getOrCreate();
SparkSess
浏览 1提问于2017-05-17得票数 0
回答已采纳
1回答
问题解释问题是。
，那么你如何用不同的会话同时启动多个火花作业呢？在不同的会议上，我<em
浏览 2提问于2017-03-09得票数 1
回答已采纳
2回答
在测试多个作业同时运行或稍后提交的较小作业时火花作业的行为时。我在spark中遇到了两个设置。一种是可用的调度模式，如下图所示：其中一个在调度程序中，如下所示
我想了解两个设置和抢占之间的区别。我的要求是，在处理更大的工作时，在两者之间提交的小工作必须获得资源，而不需要等待更长时间。
浏览 2提问于2016-08-10得票数 1
回答已采纳
1回答
我使用livy来使用Spark作为服务。我的应用程序将一些命令作为代码发送给livy，然而，spark需要初始化一些变量(读取一些文件，进行一些map&reduce操作等)。这需要时间。此初始化部分对于所有会话都是通用的。在构造之后，可以将不同的语句发送到这些会话。
我想知道的是，当livy创建会话时，是否可以复制旧的会话行和图像，或者是否应该从头开始创建
浏览 14提问于2016-09-21得票数 1
回答已采纳
1回答
执行多个Spark作业
、、、
我正在使用以下集群和应用程序配置运行Spark作业：
总节点数:3 Master Node Memory 7.5GB, 2 Cores Worker Node1, Memory 15GB, 4 Cores我发现每个提交的作业都会创建SparkUI，而我的集群一次只接受两个作业。此外，我观察到，一旦第一个提交的作业完成执行，它就会获得端口4042上的第三个作业。我的
浏览 15提问于2019-11-19得票数 0
我的客户在AWS EMR上安装了一个安装在木星集线器上的AD连接器，以便通过AD在Jupyterhub上验证不同的用户。目前的理解是，当不同的用户通过木星中心上的木星笔记本向共享的EMR火花引擎提交他们的火花作业时，火花作业将通过Livy提交给火花引擎。每个Livy会议都将有一个相关的火花会话映射到它(这是我目前的理解和纠正我，
浏览 0提问于2018-12-24得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
