在日志记录中,这是在Dataflow日志之后可以找到的内容(虽然我看不到任何“停止数据流工作人员”日志,这很奇怪.):
javax.net.ssl.SSLHandshakeException: Remote(DataflowPipelineJob.java:351) at com.google.cloud.dataflow.sdk.runners.DataflowPipelineJob.getStateWithRetries(DataflowPipelineJob.<e
当我使用dataflow时,我需要创建一些字符串行,这些字符串行的用户id列表由逗号分隔。然后将结果写入GCS。不幸的是,在DoFn的processElement期间,每一行都有太多的用户,这会导致java.lang.OutOfMemoryError。:1536) at com.google.cloud.dataflow.sdk.transforms.Combine$CombineFn$2.merg
(DoFnRunnerBase.java:450) at com.google.cloud编码空长引起的.dataflow.sdk.transforms.MapElements$1.processElement(MapElements.java:109):com.google.cloud.dataflow.sdk.coders.CoderException:不能在com.google.cloud.<
我有一个简单的管道,只执行读取PubsubIO.Read.subscription。:617)我使用的是SDK1.9.0版本。我还注意到1.9.0的抓取速度比1.6.1快得多。对于1.6.1,它似乎使用了10个元素的批次。:1266)
at com.google.cloud.dataflow.sdk.transforms.ParDo.a