在Spark UI页面上，"Output Op Duration“和"Job Duration”这一列有什么区别？
浏览 10提问于2016-08-03得票数 5
回答已采纳
我在我的一端运行示例作业，spark作业UI显示总正常运行时间为26秒，但当我将作业的持续时间列加起来时，它只有17-18秒，我应该依靠它来确定运行作业执行逻辑的总时间.I不关心启动和停止集群的时间.Is我的spark配置如下所示：
val conf = new SparkConf().setAppName("Metrics").setMaster("spark:&#x
浏览 1提问于2017-01-03得票数 0
我运行Spark Job，并尝试更快地调优它。奇怪的是，总的正常运行时间是1.1小时，但我把所有的工作时间加起来。只需要25分钟。我很好奇为什么Spark UI中的总正常运行时间不等于所有作业持续时间的总和？非常感谢你
浏览 4提问于2020-09-08得票数 0
我正在运行一个虚拟的spark作业，它在每次迭代中执行完全相同的一组操作。下图显示了30次迭代，其中每个作业对应于一个迭代。可以看到，除了作业0、4、16和28之外，持续时间始终在70ms左右。第一次加载数据时，作业0的行为是预期的。
我想知道Spark把(2000
浏览 2提问于2017-06-26得票数 1
我正在重新启动一个星火流作业，它是HDFS中的检查点。我故意在5分钟后结束这项工作，并重新开始测试恢复情况。一旦调用ssc.start()，我将收到此错误。receivedBlockMetadataException in thread "main" org.apache.spark.SparkException: org.apache.spark.streaming.dstream
浏览 5提问于2015-07-12得票数 2
在我们的项目中，我们使用Apache Spark来写入ES。我们运行多个并行写入ES的spark作业。我们处理的数据量太大，导致写入吞吐量高达约5K写入/秒。我们希望限制ES写入，以便将其降低到500到1000写入/秒的范围。我们遇到过像es.batch.size.bytes和es.batch.size.entries这样的ES配置，但我们不确定这些配置如何与Apache Spark一起工作。
浏览 15提问于2020-07-20得票数 1
1回答
在databricks是否有Jar作业超时限制或Jar作业可以不受限制地运行？我们的应用程序启动了长时间运行的spark作业，创建了spark会话和"fire“子作业，但在8月份的发布说明中，我发现notebooks会限制作业执行2天。有可能在这样的限制下运行流作业吗？
浏览 0提问于2021-09-04得票数 0
我正在使用Spark2.1.0，而且org.apache.spark.spark-sql_2.11org.apache.spark.spark-streaming_2.11
作为作业
浏览 5提问于2017-04-06得票数 0
我的应用程序在Spark UI中的作业持续时间如下：请注意，批处理时间通常比作业持续时间长。那么，它们之间的区别是什么呢？
浏览 0提问于2016-01-15得票数 1
我想每天安排一个Spark结构的流媒体作业。作业本身必须运行一定的小时数，然后停止。那么，如何指定这样的持续时间呢？
浏览 21提问于2021-10-07得票数 0
通常情况下，如果我将Scala用于Spark作业，我将编译一个jarfile并使用gcloud dataproc jobs submit spark提交它，但有时对于非常轻量级的作业，我可能在笔记本中使用未编译的Scala代码，或者使用spark-shell REPL，在这里我假设SparkContext已经可用。对于其中的一些轻量级用例，我可以等效地使用PySpark并与gcloud dataproc jobs submit pyspark一起提交，但有时我需要更容易地访问Scala/Java
浏览 2提问于2020-03-08得票数 5
回答已采纳
我的spark作业在MAC上的本地spark集群(https://archive.apache.org/dist/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz)上运行良好。但是在k8s和openstack上对spark (2.2.1-hadoop-2.7，来自https://hub.docker.com&#
浏览 42提问于2019-01-04得票数 1
回答已采纳
1回答
AWS EMR多作业依赖争用
、、、、
我使用Terraform来支持EMR集群并使用args调用这些步骤：启动时似乎存在争议我尝试将上面的内容限制为仅在使用的主服务器上运行
grep-q'"isMaster":true'/mnt/var/lib/info/instance.json \{echo“不在主节点上运行，没有
浏览 1提问于2020-07-01得票数 4
回答已采纳
1回答
我正在运行一个Spark作业(从Spark notebook)，使用带有选项的动态分配"spark.shuffle.service.enabled如果我取消正在运行的作业/应用程序(通过按下notebook中单元上的cancel -按钮，或者通过关闭notebook服务器和应用程序)，并在短时间(几分钟)后重新启动相同的应用程序，
浏览 14提问于2016-08-31得票数 1
我想用Azure Blob存储作为我的流的源来执行Spark结构化流作业。如下所示： .readStream \ .options(**blobConf) \我如何使用
浏览 4提问于2021-12-08得票数 0
回答已采纳
我在Windows中运行Spark独立作业。我想使用Spark历史服务器监控我的spark作业。我已经用下面的命令启动了spark历史服务器，历史服务器启动成功。\spark-2.2.0-bin-hadoop2.7\bin>spark-class.cmd org.apache.spark.deploy.history.HistoryServer我在本地运行了<em
浏览 2提问于2019-05-02得票数 1
DDB表被设置为按需容量.为此，我在EMR集群上运行spark作业来使用emr-dynamodb-connector。代码如下所示ddbConfWrite.set");
ddbConfWrite.set("mapred.output.format.class", "org.apache.hadoop.dyn
浏览 26提问于2022-06-01得票数 0
我在pyspark中运行k-means算法： from pyspark.ml.clustering import KMeans
from pyspark.ml.clustering import KMeansModelkmeans_modeling.fit(data.select("parameters")) 数据是pyspark sql dataframe：pyspark.sql.dataframe.DataFrame 然而，算法是无限运行的我为相同类型的不同数据帧运行了完全相同的代码，一切都运行得很
浏览 28提问于2020-12-24得票数 0
2回答
我在kubernetes中对Spark进行了如下配置。我点击了这个链接到setup - 在此配置中，是否可以在群集模式下运行作业？或者这只能用于本地开发？
浏览 1提问于2020-07-29得票数 1
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
