定期将数据从AWS Documentdb传输/复制到Google Cloud Big Query
定期将数据从AWS Documentdb传输/复制到Google Cloud Big Query
提问于 2021-07-29 03:51:46
我们正在构建一个面向客户的应用程序。对于此应用程序，数据由第三方拥有的IoT设备捕获，并通过应用程序接口调用从他们的服务器传输到我们。我们将此数据存储在我们的AWS Documentdb集群中。我们将用户App连接到此群集，满足实时数据馈送要求。注:数据为时间序列数据。
问题是，对于长期数据存储和创建与利益相关者共享的分析仪表板，我们的数据治理人员要求我们每天将数据从AWS Documentdb群集复制/复制到他们的谷歌云平台-> Big Query。然后我们可以直接在BigQuery上运行查询来执行分析，并将数据发送到资源管理器或tableau来创建仪表板。
我找不到任何简单的解决方案。欢迎任何想法，评论或建议。如何实现或规划上述复制？我如何确保有效地复制数据-内存和定价？此外，不想干扰AWS Documentdb的性能，因为它支持我们的面向用户的应用程序。
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-08-04 14:38:32
这个解决方案需要一些自定义的实现。您可以利用更改流并按间隔处理数据更改以发送到Big Query，因此有一种数据复制机制可供您运行分析。使用Change Streams的用例之一是使用Redshift进行分析，因此Big Query应该服务于类似的目的。
在亚马逊DocumentDB中使用Change Streams：https://docs.aws.amazon.com/documentdb/latest/developerguide/change_streams.html
本文档还包含用于使用change streams事件的示例Python代码。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/68569832
复制相关文章
相似问题
腾讯云开发者
