Kubernetes上的Spark 3.0使用第三方细分IO REST API从Kafka读取数据并推送数据。我在运行Spark stream作业时遇到以下错误 Caused by: java.io.IOException: Cannot run program "chmod": error=11, Resourceorg.apache.hadoop.fs.AbstractFileSystem.create(AbstractFileSystem.java:605)
at org.apa
浏览 29提问于2020-09-16得票数 0
我正在运行一个星火流应用程序。有几次，其中一个作业由于某些运行时异常而失败。streaming将作业标记为失败，并继续处理下一个流批。如果其中一个作业失败，是否有一个参数可以设置为通知Spark关闭应用程序(而不是处理下一个流批)？我在独立集群模式上使用Spark1.4.1。
浏览 0提问于2016-06-10得票数 0
1回答
在我们的一个管道中，我们使用spark(java)进行聚合，它是使用oozie编排的。此管道使用以下行将聚合数据写入ORC文件。modifiedFrame = hc.createDataFrame(aggregateddatainrdd, schema);
当oozie作业中的
浏览 0提问于2017-03-09得票数 0
回答已采纳
我正在运行星火流作业，当我为我的星火流作业设置应用程序名(一个更好的可读字符串)时，它不会出现在Hadoop运行的应用程序UI中。在Hadoop中，我总是将类名视为名称。val sparkConf = new SparkConf().setAppName("BetterName")
如何在Spark中设置作业名，使其出现在Hadoop中？运行应用程序的Hadoo
浏览 2提问于2015-10-27得票数 6
回答已采纳
方法( org.apache.spark.streaming.api.java.JavaStreamingContext，类java.util.HashMap，类java.util.HashSet，类py4j.reflection.ReflectionEngine.getMethodLang.Thread.run(Thread.java:745)\n‘，)
我使用的是星火流-kafka-assembly_2.10-1.6.0.jar(它存在于我所有节点+主节点上的/usr/lib因此，spark应该使用正确的had
浏览 3提问于2016-02-26得票数 4
回答已采纳
7回答
我有Spark streaming应用程序，它基本上从Kafka获得触发消息，这启动了批处理，这可能需要2个小时。有一些事件，其中一些作业无限期地挂起，并且没有在通常的时间内完成，目前我们无法在不手动检查Spark UI的情况下确定作业的状态。我想知道当前正在运行的spark作业是否挂起的方法。我知道我可以使用驱动程序和执行器的度量标准。如果我要选择最重要的一个，它将是最后收到的批处理记录。当为StreamingMe
浏览 6提问于2018-10-18得票数 8
我使用结构化流的Spark2.2和运行几个长期流式作业。每天或两天，我都会遇到以下错误：
当我遇到这个错误时，任务在重新启动时一直失败。我发现checkpointLocation下的偏移/提交文件是复制因子1，我想将复制因子
浏览 1提问于2017-12-06得票数 1
我们有使用Spark Structured实现的流应用程序，它试图从Kafka主题读取数据并将其写入HDFS位置。有时应用程序会失败，并出现异常：java.lang.IllegalStateException: 10)
我们无法解决此问题。我找到的唯一解决方案是删除检查点位置文件，这将使作业在我们再次运行</e
浏览 0提问于2019-05-31得票数 6
1回答
我正在尝试使用Scala中的sys.env()方法通过Spark程序访问它。当我没有Oozie调度时，我能够正确地访问Spark中的环境变量。然而，当我尝试使用Oozie调度我的程序时，程序抛出一个错误，它无法读取环境变量。workflow.xml：
<start t
浏览 1提问于2020-01-14得票数 0
我试图复制以了解foreach是如何工作的，我尝试使用以下代码： print(a)
我理解返回类型的collect()是一个array(它是list)的错误，并且它没有与之关联的foreach属性，但是，我不明白如果在正式的spark我正在使用Spark 3.0.1
浏览 0提问于2020-09-17得票数 1
回答已采纳
1回答
我有两个火花流作业，我想运行，以及保留一些可用的资源，用于批处理作业和其他操作。1)这是否意味着单个核心可以在两个流应用程序之间移动？2)虽然我有spark & cassandra，但是为了利用数据局部
浏览 3提问于2016-05-05得票数 1
在公平共享下，星火以“循环”的方式在任务之间分配任务，这样所有的作业都能获得大致相等的集群资源份额。这意味着在长作业运行时提交的短作业可以立即开始接收资源，并且仍然可以获得良好的响应时间，而无需等待长作业完成。根据这一点，如果我有来自多个线程的多个作业，以防火花流(每个线程有一个主题)，那么如果集群中有足够的核心，多个主题是否可能同时运行，或者它是否只是跨池执行一个循环，但一次只运行一个任务？现在，每个主题都有两个操作(因此有两个<e
浏览 2提问于2017-06-06得票数 2
我在我的应用程序中使用火花流。数据以每15分钟流文件的形式出现。我已经分配了10G内存来激发执行者。在这种情况下，我的星火应用程序运行良好。但是通过查看spark，在存储选项卡 -> 中，内存的使用会随着时间的推移而不断增加。
当我开始流作业时，“内存中的大小”使用的单位是KB。在将执行器内存增加到10G之前，火花作业几乎每5天就会出现故障(默认执行器内存为1GB)。随着执行器内存增加到10G，它从16天开始连续运行<
浏览 0提问于2016-02-18得票数 4
我有Spark流作业，它捕获Azure Eventhub的几乎实时数据，运行24/7。更有趣的是，我的工作每天至少失败2次，出现以下错误。我并不担心数据丢失，因为火花检查点会在重新启动作业时自动处理数据，但我的问题是，为什么火花流作业每天会以同样的错误失败2-3次。
有没有人面临同样的问题，有什么解决方案/解决办法。
浏览 1提问于2019-11-14得票数 0
1回答
在databricks是否有Jar作业超时限制或Jar作业可以不受限制地运行？我们的应用程序启动了长时间运行的spark作业，创建了spark会话和"fire“子作业，但在8月份的发布说明中，我发现notebooks会限制作业执行2天。有可能在这样的限制下运行流作业吗？
浏览 0提问于2021-09-04得票数 0
我试图按照中的步骤在Azure HDinsight上运行Apache spark
我想知道我是必须自己管理主/从故障恢复，还是由HDinsight来处理。
浏览 0提问于2015-04-08得票数 0
我需要在AWS EMR中运行结构化流spark作业。作为弹性需求，如果spark作业由于某些原因而失败，我们希望spark作业可以在EMR中重新创建。类似于ECS中的任务编排，如果健康检查失败，可以重启任务。然而，EMR更多是一个计算引擎，而不是编排系统。 我正在寻找一些大数据工作流程编排工具，例如Airflow。但是，它不能支持DAG中的循环。
浏览 44提问于2020-07-13得票数 1
回答已采纳
3回答
我们的hadoop集群中有火花批处理作业和和火花流作业。我们遇到了气流，这符合我们对“编写、调度和监控工作流的平台”的需求。我只想能够停止和启动火花流的工作。使用气流图和剖面图不是什么问题。
我的问题是，除了失去一些功能(图表、分析)之外，为什么我不应该使用气流来运行火花流作业？
浏览 1提问于2019-02-20得票数 10
我有一个简单的星火作业，它将数据流到Delta表。这张表很小，没有分区。按照文档()中的建议，我添加了一个压缩作业，每天运行一次。.option("dataChange", "false") .mode("overwrite")每次压缩作业运行时，流作业都会得到以下异常：
o
浏览 5提问于2021-08-12得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
