我们有一个由Composer触发的DataFusion管道。这个管道提供了一个短暂的DataProc集群,在理想的情况下,集群在完成任务后终止。在我们的例子中,有时,并不总是,这个短暂的DataProc集群处于运行状态。集群中的作业也处于运行状态,最后的日志消息如下:
INFO runtimejob.DataprocJobMain: Invoki
我有流式数据流作业,它将输出数据接收到发布/订阅主题。但是随机的作业日志抛出了一个错误:
There were errors attempting to publish to topic projects/my_project/topics/my_topics数据流没有提供堆栈跟踪,并且从作业度量来看,错误类型是“不可用”。一段时间后,错误将停止,管道仍像往常一样运行。发生此错