云数据流和Dataprep之间的区别是什么
云数据流和Dataprep之间的区别是什么
提问于 2019-05-28 00:29:16
Dataprep和Dataflow都可以用于ETL任务。事实上，Dataprep似乎使用数据流作业。这是Dataprep提供的工具与用户界面编写数据流作业的唯一区别吗？
回答 2
Stack Overflow用户
发布于 2019-05-28 15:47:09
dataflow和dataprep都可以确定地转换数据。主要区别在于谁在使用这项技术。您的项目是否需要数据用户(如数据工程师)或业务用户(如分析师和数据科学家)进行自助式数据转换？那么dataprep就是最佳选择。这不是编码。最终，它会生成数据流作业。Cloud dataprep提供了高级转换，如旋转、取消旋转、聚合、时间序列、连接、联合、标准化，以及通过直观的可视界面显示的数百种其他数据功能。不过，数据必须在CDS或BigQuery中。
Stack Overflow用户
发布于 2019-05-28 07:29:10
Dataprep是一个通过UI在文件源上执行ETL的工具。方便，但相对有限。Dataflow是一个托管服务，用于部署使用apache beam编程模型编写的ETL管道，对于批处理和流数据都很有用，并且可以潜在地与任何您想要的数据源(例如Kafka、pubsub、datastore、JDBC…)一起使用。Dataprep更多地局限于GCS和BigQuery。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56329619
复制相关文章
相似问题