有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

操作场景

下文将详细介绍当源对象存储部署在 AWS S3 国际站时,如何配置 Agent 半托管迁移任务,实现数据迁移。
说明
“AWS 海外站迁移”,需要登录国际站控制台。

准备工作

AWS S3

创建 AWS IAM 账号并授予相关权限,以下为简单指引,具体操作指引请参见 AWS S3 产品文档
1. 登录 AWS 控制台。
2. 在导航窗格中,选择用户,然后选择添加用户。为新用户键入用户名。
3. 选择此组用户将拥有的访问权限类型。选择以编程方式访问和访问 AWS 管理控制台。
4. 单击 Next: Permissions(下一步:权限)。在 Set permissions 页面上,指定您要向新用户分配权限的方式。授予 IAM 账号存储空间读写权限。
5. 单击 Create user。要查看用户的访问密钥(访问密钥 ID 和秘密访问密钥),请选择您要查看的每个密码和访问密钥旁边的显示。要保存访问密钥,请选择下载 .csv,获取 AccessKeyID 和 AccessKeySecret。

腾讯云对象存储 COS

1. 创建目标存储桶: 创建目标存储桶,用于存放迁移的数据。详情请参见 创建存储桶
2. 创建用于迁移的子用户并授予相关权限,以下为简单指引,具体操作指引请参见 访问管理 CAM 产品文档
2.1 登录腾讯云 访问管理控制台
2.2 在左侧导航栏中单击 用户 > 用户列表, 进入用户列表页面。
2.3 新建子用户,勾选编程访问及腾讯云控制台访问。
2.4 搜索并勾选 QcloudMSPFullAccess 及 QcloudCOSAccessForMSPRole 策略。
2.5 完成子用户创建并保存子用户名,访问登录密码,SecretId,SecretKey。
说明
迁移服务也可以使用主账号操作,但是出于安全考虑,建议新建子账号并使用子账号 API 密钥进行迁移,迁移完成后删除。

操作步骤

登录迁移服务平台

1. 登录 迁移服务平台
2. 在左侧导航栏中单击对象存储迁移,进入对象存储迁移页面。

新建迁移任务

1. 在对象存储迁移页面,单击新建任务,进入对象存储迁移任务配置页面,进行迁移参数的设置。
2. 设置迁移任务名称。

任务名称:字符长度为1至60个字符,允许的字符为中文、英文、0-9、_、-。此处设置的名称,将用于在任务列表中查看迁移状态和迁移进度。
3. 预估任务规模。请准确的填写任务规模,以便我们更好的准备相关资源,非必填。



4. 设置要迁移的文件来源。


服务提供商:此处迁移源服务提供商应选择 AWS S3国际站。
AccessKey、SecretKey:文本框中输入先前新建用于迁移的 AWS 子账号 AccessKeyID 和 AccessKeySecret。
迁移桶名称:填入密钥后,单击“迁移桶名称”下拉框右侧的刷新按钮,即可获取源对象存储桶列表。也可以选择手动输入源桶名称。
Header迁移方式:如果源桶中的文件设定了 Header/Tag 并且需要在迁移后保留,请选择保留或设置替换规则。
文件名过滤规则:选择对指定桶中的全部文件进行迁移,或仅迁移指定前缀的文件。
时间范围:开启时间范围,只迁移指定时间范围内新增或变更的文件。
执行速度、限速方式:各公有云厂商的对象存储都有速度限制。为确保业务稳定,请在迁移前与源厂商确认并设置最高迁移可用 Mbps。
5. 选择要迁移到的目标位置。


服务提供商:默认为腾讯云 COS。 SecretId、SecretKey:输入用于迁移的腾讯云子用户 SecretId、SecretKey。
迁移桶名称:填入密钥后,单击“迁移桶名称”下拉框右侧的刷新按钮,即可获取目标对象存储桶列表。
保存路径:指定迁移到目标桶的指定目录。
保存到根目录: 直接将源桶中的文件按原始相对路径保存到目标桶的根目录。
保存到指定目录:将源桶中的文件保持原始相对路径保存到指定目录中。 例如: 源桶中的文件 /a.txt/dir/b.txt 两个文件,文本框中填写“dest”,那么迁移后这两个文件在目标桶中的路径为:/dest/a.txt/dest/dir/b.txt。 如果文本框中填写 dest/20180901,那么迁移后这两个文件在目标桶中的路径为:/dest/20180901/a.txt/dest/20180901/dir/b.txt
同名文件:指定同名文件的处理方式。
注意
若同名文件选择覆盖,则迁移时会直接覆盖掉同名文件。
若同名文件选择跳过,会基于文件最后修改时间 LastModified 判断,即
如果源地址中文件的 LastModified 晚于或者等于目的地址中文件的 LastModified,则执行覆盖。
如果源地址中文件的 LastModified 早于目的地址中文件的 LastModified,则执行跳过。
若在迁移过程中对象(文件)内容有变化,需要进行二次迁移。
文件存储方式:根据迁移的需求,设定迁移后文件的存储方式,可以选择:标准存储、低频存储、保持原存储属性、归档存储。
6. 选择迁移模式。


模式选择:
新建迁移任务后立即启动全托管迁移:选择托管迁移,用户单击“新建并启动”后 MSP 服务将通过公网访问源存储进行迁移。
新建迁移任务后手动下载 Agent 启动迁移:选择 Agent 模式迁移,用户在单击“新建并启动”后,将仅创建任务配置,需要用户手动下载 Agent 在迁移源一侧的服务器上部署之后才会正式启动迁移。迁移 Agent 部署参考文档:半托管迁移 Agent 的使用说明



定时任务设置:定时任务可以重复运行任务,可以对源桶中的增量文件做出同步。除了第一次任务是立即执行,之后会根据定时设置在固定间隔时间之后或者 Cron 设定的定时规则时触发再次运行。再次运行时“同名文件”会变为“跳过(保留目标桶中已有的同名文件)”,即只同步增量文件。
7. 单击新建并启动,即可启动迁移任务。




查看迁移状态和进度

在文件迁移工具主界面中,可以查看所有文件迁移任务的状态和进度:
“任务完成”状态,绿色是任务完成并且所有文件都迁移成功,黄色是迁移任务完成但部分文件迁移失败。
单击“重试失败任务”链接后,该任务中失败的文件将会重试迁移,已经成功迁移的文件不会重传。
单击“导出”链接可以导出迁移过程中失败的文件列表。

如何预估文件迁移时间

迁移速度由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。详情请参见 预估文件迁移时间