我需要对一些数据执行一个非常简单的转换(从JSON中提取一个字符串),然后将其写入PubSub -我正尝试使用一个自定义的python Dataflow作业来完成此操作。有没有人成功地通过数据流从GCS写入PubSub? 有人能解释一下这里出了什么问题吗?output = lines #Obviously not necessary but this is where my simple extract goes
output | beam.io.WriteToPubSub
我还有一个自动的数据流作业(使用模板),它将这些消息保存到我的BigQuery表中。现在我打算用python管道替换基于模板的作业,我的需求是从PubSub读取数据,应用转换,并将数据保存到BigQuery/发布到另一个PubSub主题。我开始用python编写脚本,并做了很多尝试和错误来实现它,但令我沮丧的是,我无法实现它。| "Read From Pub/Sub" >> beam.io.ReadFromPubSub(topic=TOPIC_PATH) data |
我已经设置了一个流类型的数据流作业,这样每当用户投票支持某项内容时,它就可以监听公共子主题。目前,我的数据流工作一直在运行,我担心这会花费我很多钱。def run(argv=None): parser = argparse.ArgumentParser()
# Output PubSub# Trigger a the output PubSub topic with the messa