云存储新增文件时触发数据流作业
云存储新增文件时触发数据流作业
提问于 2016-04-02 04:11:46
我希望在向存储存储桶添加新文件时触发数据流作业，以便处理新数据并将新数据添加到BigQuery表中。我看到云通过存储桶中的更改来运行can be triggered，但我还没有找到使用gcloud node.js library启动数据流作业的方法。
有没有一种方法可以使用云函数来实现这一点，或者是否有其他方法来实现预期的结果(在将文件添加到存储存储桶时将新数据插入到BigQuery中)？
回答 2
Stack Overflow用户
回答已采纳
发布于 2016-04-02 04:31:50
从2.2开始，Apache Beam中支持此功能。参见Watching for new files matching a filepattern in Apache Beam。
Stack Overflow用户
发布于 2016-04-17 02:41:08
也许这篇文章会对如何从App Engine或Cloud Functions触发数据流管道有所帮助？
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/36365058
复制相关文章
相似问题