首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Spark结构流作业被卡住数小时而未被杀死

Spark结构流作业被卡住数小时而未被杀死
EN

Stack Overflow用户
提问于 2020-10-03 11:39:47
回答 1查看 316关注 0票数 0

我有一个结构化的流式作业,从kafka读取,执行聚合和写入hdfs。该作业在yarn中以群集模式运行。我使用的是spark2.4。每隔2-3天,这项工作就会卡住。它不会失败,但会卡在某个微批处理中。微批甚至不倾向于启动。驱动程序会在几个小时内多次打印日志。

代码语言:javascript
运行
复制
 Got an error when resolving hostNames. Falling back to /default-rack for all.

当我终止流式作业并重新启动时,该作业再次开始正常运行。如何解决这个问题?

EN

回答 1

Stack Overflow用户

发布于 2020-10-03 18:26:56

请参阅此问题https://issues.apache.org/jira/browse/SPARK-28005此问题已在spark 3.0中修复。这似乎是因为没有活动的执行器。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64180470

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档