我有一个结构化的流式作业,从kafka读取,执行聚合和写入hdfs。该作业在yarn中以群集模式运行。我使用的是spark2.4。每隔2-3天,这项工作就会卡住。它不会失败,但会卡在某个微批处理中。微批甚至不倾向于启动。驱动程序会在几个小时内多次打印日志。
Got an error when resolving hostNames. Falling back to /default-rack for all.
当我终止流式作业并重新启动时,该作业再次开始正常运行。如何解决这个问题?
发布于 2020-10-03 18:26:56
请参阅此问题https://issues.apache.org/jira/browse/SPARK-28005此问题已在spark 3.0中修复。这似乎是因为没有活动的执行器。
https://stackoverflow.com/questions/64180470
复制相似问题