将数据从s3加载到极光-大文件
将数据从s3加载到极光-大文件
提问于 2019-03-11 05:32:16
我目前正在使用athena处理和执行ETL -从其中我获得了csv文件，其中包含要加载到aurora rds表中的整个数据集。我发现从S3加载数据是加载数据的一种选择。因为这些文件非常大，大约有10 GB，有4-500万行数据。极光能否处理来自同一文件的如此巨大的数据负载，或者在此过程中是否会有超时。如果有必要，如何才能使这些过程更有效？
回答 1
Stack Overflow用户
发布于 2019-03-13 04:12:29
为此，您应考虑使用AWS数据库迁移服务。设置迁移后，AWS DMS将全面管理迁移工作，并会处理可能遇到的任何超时或故障。
AWS DMS允许您使用多个源(including S3)将数据加载到多个目标(including Aurora)。
AWS DMS可以作为一次性任务完成，也可以作为持续数据复制的初始负载。
迁移过程中对源数据库所做的所有数据更改都会连续复制到目标数据库。
(来自AWS DMS Benefits)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55092619
复制相关文章
相似问题
腾讯云开发者
