我是新的数据流,并试图获得任何数据流作业的血统信息,为我正在努力构建的应用程序。我正在尝试从作业中至少获取源名和目标名,如果可能的话,找出应用于管道中的pcollection的转换,类似于函数调用的跟踪。我一直在为不同类型的工作分析日志,但找不到确切的方法来获取我正在寻找的任何信息。
发布于 2022-02-23 21:52:44
您应该能够从图形本身获取这些信息。这样做的一种方法是实现您自己的运行程序,它将委托给Dataflow运行程序。
对于Dataflow,还可以通过数据流API从服务中提取作业(其步骤将给出拓扑)。
https://stackoverflow.com/questions/71222172
复制相似问题