我目前正在使用athena处理和执行ETL -从其中我获得了csv文件,其中包含要加载到aurora rds表中的整个数据集。我发现从S3加载数据是加载数据的一种选择。因为这些文件非常大,大约有10 GB,有4-500万行数据。极光能否处理来自同一文件的如此巨大的数据负载,或者在此过程中是否会有超时。如果有必要,如何才能使这些过程更有效?
发布于 2019-03-13 04:12:29
为此,您应考虑使用AWS数据库迁移服务。设置迁移后,AWS DMS将全面管理迁移工作,并会处理可能遇到的任何超时或故障。
AWS DMS允许您使用多个源(including S3)将数据加载到多个目标(including Aurora)。
AWS DMS可以作为一次性任务完成,也可以作为持续数据复制的初始负载。
迁移过程中对源数据库所做的所有数据更改都会连续复制到目标数据库。
(来自AWS DMS Benefits)
https://stackoverflow.com/questions/55092619
复制相似问题