前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >怎么将数据迁移到对象存储OSS?

怎么将数据迁移到对象存储OSS?

原创
作者头像
用户7261497
修改2020-06-24 14:41:50
6K0
修改2020-06-24 14:41:50
举报

  用户希望将历史数据迁移到OSS上的用户目标存储桶。需要迁移的源数据可能来自某个OSS桶,也可能来自本地或第三方云存储(例如腾讯云COS)。等等,HTTP等。

  主要方法

  在线迁移服务

  使用联机迁移服务进行迁移。各种数据源的数据,批量迁移到OSS。迁移期间无需设置迁移环境。您可以在线提交迁移任务并随时监控迁移过程。请参阅在线迁移服务文档。

OssImport

  使用Ossimport工具进行迁移。有关各种数据源的历史数据,批量迁移到OSS,请参阅OssImport文档。

  镜像回源

  适用于客户源站,可将数据无缝迁移到OSS。也就是说,该服务已在其自身或其他云产品上建立的源站上运行,并且需要迁移到OSS,但该服务无法停止。在这种情况下,可以实现图像后向源功能。在Ossimport完成历史数据迁移后,新生成的数据迁移过程请参考镜像反向源并无缝迁移到OSS。

OSS跨区域复制

  适用于同一帐户,将数据从OSS Bucket A复制到Bucket B,请参考设置跨区域复制。使用时,请注意设置“​​同步历史数据”。此外,如果您不想同步Bucket的删除操作,可以将同步策略设置为“write sync”。

  闪电立方

  适用于离线数据中心的大规模数据迁移,支持TB到PB级别的大规模数据。具体参考官方网站产品介绍闪电立方体。

OSS API或SDK

  使用OSS API或SDK编写代码实现,适用于具有强大开发功能的客户,请参阅复制对象,上传零件副本。

  场景1:将非OSS上的数据迁移到OSS

  在此方案中,目标是OSS上的存储桶,源数据不存储在OSS上,例如本地,HTTP,第三方云存储(例如AWS S3,Azure Blob等)。

  每种方法的选择如下:

  在线迁移服务

  它适用于将各种大小的第三方源数据迁移到OSS。

OssImport

  适用于将历史数据批量迁移到OSS,特别适用于大数据量。当数据量很大时,请使用ossimport的分布式版本。

  镜像回源

  适用于源站新的热门数据在线迁移到OSS,例如您对数据热迁移,特定请求重定向等的需求。

  闪电立方

  适用于本地数据中心的用户,TB到PB级别的大规模数据

OSS API/SDK复制对象,上传零件副本

  适用于功能要求,使用OSS API/SDK编写代码来上传OSS。

  场景2:OSS之间的数据迁移

  此场景是指将OSS源桶数据迁移到OSS目标桶。迁移的数据源和迁移目标都是OSS存储桶。

  每种方法的选择如下:

  在线迁移服务

  适用于各种规模的数据迁移方案。

  说明:不适用于归档类型的文件迁移。

OSS跨区域复制

  源桶和目标桶属于同一用户,属于不同的区域。

  源存储桶和目标存储桶存储类型不是存档类型:

  说明:如果要在迁移源存储桶历史数据后迁移(复制到)目标存储桶,则源存储桶更改(添加,更新,删除)将不再与目标存储桶同步。您可以在控制台中关闭源存储桶的跨区域副本。

OssImport

  它更适用于具有大数据量(例如大于10TB)的历史数据迁移方案。

OSS API/SDK复制对象,上传零件副本

  建议首先使用ossImport或跨区域复制,除非用户具有更多粒度或功能要求并具有某些开发功能。

  其他

  如果问题仍未解决,请联系售后技术支持。更多对象存储OSS方面的知识可以关注赵一八笔记。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
作者已关闭评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档