我对Spark的工作，阶段，任务感到困惑。
我知道两个阶段和任务可以并行运行。但由于我所有的开发都是在独立的集群上进行的，所以我怀疑Spark是否可以并行运行两个作业。因为当我在作业页面上打开事件时间线时，我从未看到两个作业并行/重叠运行。谢谢!
浏览 30提问于2018-02-21得票数 0
回答已采纳
我在Spark中的驱动程序节点上运行了4个并行线程，它们做同样的事情，但是使用不同的数据。Spark确实并行执行所有提交的作业，直到有一个联接。此时连接操作是按顺序执行的。这就是SparkUI所展示的：
我能做些什么使连接并行运行吗？更新：spark-submit
-
浏览 0提问于2018-12-05得票数 0
回答已采纳
1回答
我有火花作业，在其中我处理一个文件，然后执行以下步骤。2.Run some aggregations on dataframe and save to cassandrawriteToES(df)现在这两个操作一个接一个地运行。然而，这两者可以并行运行。我可以做两
浏览 0提问于2018-04-04得票数 9
1回答
动态资源分配和排队应用程序
、、、、
根据这个
启用星火动态资源分配时，所有资源都分配给第一个可用的提交作业，从而导致随后的应用程序排队。若要允许应用程序并行获取资源，请将资源分配到池中并运行这些池中的应用程序，并允许抢占在池中运行的应用程序。我自己也观察到了这种行为，但是我目前正在处理一个小集群，只有两个节点(m3.xlarge在EMR上)和一个主节点(r3.xlarge)。现在，这可能是因为我阅读的文件大约是2GB，而且我的资源已经用完了。我还尝试使用Spa
浏览 10提问于2017-10-31得票数 0
我在MultiJob插件中配置为一个阶段，在两个不同的节点上运行相同的任务。例如：Download Files for Node WINDOWSVM
是否可以调用相同的作业，但由于它们
浏览 1提问于2014-12-03得票数 0
回答已采纳
我想同时在一个RDD上执行两个操作。我曾经写过这样的代码val sc = new SparkContext(conf) formSubmissionDataFrame.save("/foo/", "com.databricks.spark.avroval df
浏览 2提问于2016-03-13得票数 3
我在一个纱线集群上并行运行多个Spark作业。我发现YARN并行启动了许多这样的作业，但只为驱动程序分配了一个容器，而没有分配执行器。这意味着这些Spark作业实际上处于闲置状态，等待executor加入，此时可以通过将executor分配给其他作业来更好地利用这种处理能力。我希望将YARN配置为至少为一个作业分配两个容器(一个驱动程序+一个执行器)，如果不可用，则将其保留在队列<
浏览 0提问于2020-05-22得票数 1
1回答
由"spark mllib“提供的机器学习算法可以像naive byes，随机森林一样在spark集群上以并行模式运行吗？或者我们需要修改代码？请提供一个并行运行的示例？不确定MLLIB中的并行性是如何工作的(map) -因为每个处理都需要整个训练数据集。计算是否与训练数据的子集并行运行？谢谢
浏览 0提问于2016-03-06得票数 3
1回答
.set("spark.executor.instances","8") .set("spark.driver.memoryOverh
浏览 2提问于2018-06-14得票数 0
在执行spark-submit作业时，更改默认并行度的语法是什么？在提交spark作业时，我可以通过以下命令指定executor、executor内核和executor内存的数量： spark-submit --num-executors 9 --executor-cores5 --executor-memory 48g 在conf文件中指定并行度为： spark.conf.set("<e
浏览 41提问于2020-09-27得票数 0
回答已采纳
我的工作流程由几个任务(顺序和并行)组成，包括从Hbase收集数据和对这些数据执行各种机器学习算法等。
有没有可能不使用工作流管理器就在Apache Spark中执行它们？我问的原因是我有一个算法来对任务进行批量排序(可以一起运行的任务)。我可以直接提交给Spark吗？
浏览 20提问于2019-10-23得票数 0
回答已采纳
我正在尝试运行多个星火结构化流作业(在EMR上)，这些作业从卡夫卡主题中读取并写入S3中的不同路径(每个路径在各自的任务中执行)。我已经将我的集群配置为使用。下面是我试图运行的代码片段： .readStream \ .option("kafka.bootstrap.serversCHECKPOINT_LOCATION&
浏览 2提问于2020-06-15得票数 1
为了并行化spark作业，可以同时增加内核数量和执行器实例数量。这里的权衡是什么?应该如何选择这两个配置的实际值？
浏览 1提问于2020-06-01得票数 0
我正在尝试使用AWS Data PipeLine在电子病历集群中设置一个运行spark作业的流程。我们的流程按“随需应变”计划运行。作为本活动的一部分，我们首先在管道中创建一个EMR集群，然后希望在一个emr集群上并行运行多个spark作业。
有没有一个我们可以用“随需应变”的时间表在数据管道上运行并行作业。
浏览 0提问于2017-09-22得票数 1
1回答
然后我创建了一个RDD，它有72个分区，rdd = sc.parallelize(arg_list, len(arg_list))
运行一个名为gensim的Python包，使用读取的两个文件的内容执行NLP任务。因为我每个节点可以</
浏览 0提问于2018-05-25得票数 0
让know.If感到好奇的是，正在运行两个作业，一个是插入表，另一个是从表中删除一些行。这可以并行执行吗？该表包含300列，数据为50 The。如果我们这样做，它会以死锁告终吗？
浏览 3提问于2014-12-02得票数 0
1回答
理解火花异步操作
、、
我有一个用于Spark的Java代码： } voidJavaFutureAction1.get();
有两个我在等待火花在同一时间做两个不同的</em
浏览 4提问于2017-09-21得票数 2
回答已采纳
我有一个集群独立模式的远程spark集群，它只包含一台带有2个处理器内核的机器。"cluster“包含master和一个worker。应用程序发送长时间运行的作业，作业对CPU工作的要求不高，但会对远程服务进行多次调用。换句话说，我使用的是类似spark的任务调度器。在测试期间，我看到应用程序在同一时间发送例如5个任务，但只有2个可以并行工作，另外3个在队列中</
浏览 1提问于2016-07-12得票数 0
我有很多火种的工作。通常，我将我的spark作业提交给yarn，我有一个选项是--yarn_queue，它告诉它进入哪个yarn队列。
但是，这些作业似乎在同一队列中并行运行。有时，一个spark作业的结果是下一个spark作业的输入。如何在同一队列中按顺序而不是并行运行我的spark
浏览 1提问于2017-03-03得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
