我可以在原生python中使用google DataFlow吗？
我可以在原生python中使用google DataFlow吗？
提问于 2021-08-23 13:51:26
我正试图在google中构建python管道，而google云数据流似乎是一个不错的选择。当我研究文档和开发人员指南时，我发现apache梁总是附在数据流上，因为它是基于它的。我可能会在apache beam中找到处理我的数据文件的问题。
我的问题是：
- 如果我想用DataFlow在原生python中构建我的ETL脚本，这可能吗？还是有必要用阿帕奇光束进行ETL？
- 如果DataFlow仅仅是为了使用Apache而构建的呢？是否有无服务器的google云工具来构建python ETL (Google云功能有9分钟的执行时间，这可能会给我的管道带来一些问题，我想避免在执行限制中)
我的管道的目标是从BigQuery读取数据，处理它，并将其重新保存到bigquery表中。我可以在脚本中使用一些外部API。
回答 2
Stack Overflow用户
发布于 2021-08-23 14:11:25
关于您的第一个问题，它似乎是为沿着Apache使用它而编写的，可以在正式的Dataflow上的Google文档中查看。因此，这可能是使用Apache进行ETL的一个实际要求。
关于第二个问题，本教程向您介绍了如何使用Python和Google平台函数构建自己的ETL管道，它们实际上是无服务器的。你能确认一下这个链接是否对你有帮助吗？
Stack Overflow用户
发布于 2021-08-23 15:14:22
关于您的第一个问题，Dataflow需要使用Apache。事实上，在Apache之前，有一个叫做Dataflow的东西，它是Google专有的，然后它被开源到Apache。
一旦您对Python做了一点努力，它就相当容易了，您需要的主要进程操作非常接近于本地Python语言。
如果你的最终目标是读，处理和写到烧烤，我会说梁+数据流是一个很好的匹配。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/68893891
复制相关文章
相似问题
腾讯云开发者
