启用大查询和雪花之间的同步
启用大查询和雪花之间的同步
提问于 2021-10-22 10:29:55
我们使用BigQuery和SNOWFLAKE(Azure托管)，我们经常从大查询和导入导出数据到SNOWFLAKE，反之亦然。有没有简单的方法来集成这两个系统，比如自动将大查询表同步到SNOWFLAKE，而不是导出到文件并导入？
回答 2
Stack Overflow用户
发布于 2021-10-22 11:29:58
您应该了解一下用于自动同步的变更数据捕获解决方案。他们中的一些人拥有原生的Big Query和Snowflake连接器。
下面是一些例子：
- HVR
- Qlik Replicate
- Striim
- ...
Stack Overflow用户
发布于 2021-10-22 17:51:52
实现这一点的方法有很多，最好的方法取决于数据的性质。
例如，如果您每天都有新数据在BigQuery中，那么您需要做的就是设置每天将新数据从BigQuery导出到GCS。然后很容易将Snowflake设置为在GCS中读取新数据，只要它与Snowpipe一起出现：
但是，您希望多长时间同步一次此数据？它是仅追加，还是需要考虑过去的数据更改？当同一行在两端以不同的方式更改时，如何解决冲突？等。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/69675305
复制相关文章
相似问题
腾讯云开发者
