我想从pubsub topic1中读取主题,并根据条件将干净的json写到topic2和topic3。假设:我在json中有一个来自topic1的标志,我做了一些转换,检查标志值,并根据标志值写入topic2和topic3。我已经尝试了下面的方法,但从这里我不能继续前进,因为我不知道如何根据条件调用管道。我的梁管道代码如下: with beam.
我正在尝试使用光束编程框架(Python SDK)流式传输来自发布/订阅主题的消息,并将它们写出到控制台。这是我的代码(使用apache-beam==2.27.0): import apache_beam as beam
from apache_beam.options.pipeline_options import(topic=pubsub</
Pub/Sub中的数据是AVRO格式的,来自Kafka主题。我从模式注册表中获得的相应模式文件。中没有换行符,我在数据流中收到以下错误: 2021-01-22 10:31:28.231 MEZError message from worker: java.lang.RuntimeException: Could not decode Pubsub message org.apache.beam</e
我正在尝试使用Apache和Dataflow从kafka主题中读取数据,将数据打印到控制台,最后将它们写到公共子主题中。但是它似乎被困在了ReadFromKafka函数中。卡夫卡主题中有很多数据,但是当它运行时,在这个过程中什么也不会发生。import apache_beam as beam
from apache_beam.io.kafka im