从s3 - 大文件加载数据到aurora

内容来源于 Stack Overflow,并遵循CC BY-SA 3.0许可协议进行翻译与使用

  • 回答 (1)
  • 关注 (0)
  • 查看 (84)

我目前正在使用athena来处理和执行ETL - 从中​​我获得了包含要加载到aurora rds表中的整个数据集的csv文件。我发现LOAD DATA FROM S3是一个加载数据的选项。由于这些文件非常大,大约10 GB,有4-5百万行数据。极光可以处理来自同一文件的大量数据,或者在此过程中是否会有超时。如有必要,如何使这些过程更有效?

提问于
用户回答回答于

您应该考虑使用AWS数据库迁移服务。设置迁移后,AWS DMS将完全管理工作,并将处理可能遇到的任何超时或故障。

AWS DMS允许您使用许多源(包括S3)将数据加载到许多目标(包括Aurora)中。

AWS DMS可以作为一次性任务完成,也可以作为持续数据复制的初始加载完成。

迁移期间发生的对源数据库的所有数据更改都会不断复制到目标。

(来自AWS DMS的好处

所属标签

可能回答问题的人

  • 人生的旅途

    10 粉丝484 提问6 回答
  • 无聊至极

    4 粉丝504 提问6 回答
  • 富有想象力的人

    4 粉丝0 提问4 回答
  • 找虫虫

    2 粉丝0 提问4 回答

扫码关注云+社区

领取腾讯云代金券