有奖捉虫:云通信与企业服务文档专题,速来> HOT

对象存储 COS 迁移服务

对象存储 COS 迁移服务是腾讯云提供的 COS 数据上云服务和工具。您可以将第三方数据源轻松迁移至腾讯云对象存储 COS,也可以在腾讯云不同桶之间进行数据迁移。

已支持的数据源

阿里云OSS、AWS S3(国内)、AWS S3(国际)、华为云 OBS、百度云 BOS、Azure Blob、七牛云 KODO、UCloud UFile、金山云 KS3、又拍云 USS、 HTTP URL 列表、支持 S3 协议的自建存储服务、腾讯云 COS。

迁移模式

全托管迁移

全托管迁移模式中,无需自主部署 Agent,控制台创建任务之后自动化执行。MSP 服务将通过公网从第三方数据源拉取源站的数据保存到腾讯云对象存储。创建任务过程请参考各具体源厂商对应说明。

半托管迁移

半托管迁移模式中,用户除了需要在控制台创建任务,还需要手工在自有服务器上部署迁移 Agent,Agent 首先通过固定网络请求获取到用户新建任务,然后通过网络拉取源数据,并通过网络上传到腾讯云对象存储 COS;同时 Agent 会实时更新进度到控制台方便客户获取到与全托管一致的任务实时进度监控。创建任务过程请参见各具体源厂商对应说明。Agent 的部署使用说明请阅读 半托管迁移 Agent 的使用

注意事项

1. 全托管模式中,第三方源对象存储会产生公网出流量费用,具体费用需要参考源存储云厂商的定价;从腾讯云 COS 迁移到腾讯云 COS ,请使用 存储桶复制(仅支持复制增量数据),或请联系 存储架构师 设计迁移方案。
2. 半托管模式中,视 Agent 部署服务器位置可能会有不同流量费用。如果源数据厂商与腾讯云 COS 间已经拉通专线,Agent 半托管迁移模式不会产生流量费用,因此建议已经部署了专线的用户采用此模式进行迁移。
3. 半托管模式计算和网络资源都是用户独享,速度和资源用量都可根据需求精准预估,适用于迁移量巨大、迁移时间紧迫或者希望使用专线者。
4. 全托管模式所用资源是全体迁移任务共享,不可精准预估,适用于迁移量小、迁移时间宽松者。

数据校验

1. 所有数据都会做简单校验,即数据 size 是否一致。
2. 如果源文件头信息携带有 crc64 签名或者 Content-Md5 签名,则会直接校验源端和目标端内容签名是否一致。
3. 如果没有上述两种签名,则会对源端文件内容和目标端文件内容各取部分字节做抽样 double check。

预估文件迁移时间

迁移速度由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。影响因素有:
影响因素
说明
迁出源的读取速度
数据源的读取速度因不同的服务商而不同,通常:
传输速度在50Mbps - 20000Mbps之间。
文件读取 QPS 在500 - 5000之间(大量小文件的传输受并发限制)。
MSP 平台的传输速度
MSP 平台全托管模式下提供最大2000Mbps的迁移带宽;
半托管模式下取决于客户提供的迁移资源大小。
迁入目标位置的写入速度
腾讯云对象存储 COS:默认写入传输速度15000Mbps,写入 QPS 3000 - 30000之间。