有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

操作场景

下文将详细介绍当源对象存储部署在 UCLOUD UFile 时,如何配置全托管迁移任务和半托管迁移任务,实现数据迁移。

准备工作

UCLOUD 对象存储 UFile

1. 登录 UCLOUD 控制台,单击右上角账号头像并在弹出的菜单中单击进入 API 密钥页面。
2. 在页面中单击显示,即可查看 API 密钥。

腾讯云对象存储 COS

1. 创建目标存储空间,用于存放迁移的数据,详情请参见 创建存储桶
2. 创建用于迁移的子用户并授予相关权限:
2.1 登录腾讯云 访问管理控制台
2.2 在左侧导航栏中选择用户 > 用户列表,进入用户列表页面。
2.3 新建子用户,勾选编程访问及腾讯云控制台访问。
2.4 搜索并勾选 QcloudMSPFullAccess 及 QcloudCOSAccessForMSPRole 策略。
2.5 完成子用户创建并保存子用户名,访问登录密码,SecretId,SecretKey。
说明
迁移服务也可以使用主账号操作,但是出于安全考虑,建议新建子用户并使用子用户 API 密钥进行迁移,迁移完成后删除。

操作步骤

登录迁移服务平台

1. 登录 迁移服务平台
2. 在左侧导航栏中单击对象存储迁移,进入对象存储迁移页面。

新建迁移任务

1. 在对象存储迁移页面,单击新建任务,进入对象存储迁移任务配置页面,进行迁移参数的设置。
2. 设置迁移任务名称。

任务名称:字符长度为1至60个字符,允许的字符为中文、英文、0-9、_、-。此处设置的名称,将用于在任务列表中查看迁移状态和迁移进度。
3. 预估任务规模。请准确的填写任务规模,以便我们更好的准备相关资源,非必填。



4. 设置要迁移的文件来源。

此处迁移源服务提供商应选择 UCloud UFile
AccessKey、SecretKey:文本框中输入先前新建用于迁移的账号 AccessKeyID 和 AccessKeySecret。
迁移桶名称:填入密钥后,单击“迁移桶名称”下拉框右侧的刷新按钮,即可获取源对象存储桶列表。也可以选择手动输入源桶名称。
Header迁移方式:如果源桶中的文件设定了 Header/Tag 并且需要在迁移后保留,请选择保留或设置替换规则。
文件名过滤规则:选择对指定桶中的全部文件进行迁移,或仅迁移指定前缀的文件。
时间范围:开启时间范围,只迁移指定时间范围内新增或变更的文件。
执行速度、限速方式:各公有云厂商的对象存储都有速度限制。为确保业务稳定,请在迁移前与源厂商确认并设置最高迁移可用 Mbps。
5. 选择要迁移到的目标位置。


服务提供商:默认为腾讯云 COS。 SecretId、SecretKey:输入用于迁移的腾讯云子用户 SecretId、SecretKey。
迁移桶名称:填入密钥后,单击“迁移桶名称”下拉框右侧的刷新按钮,即可获取目标对象存储桶列表。
保存路径:指定迁移到目标桶的指定目录。
保存到根目录: 直接将源桶中的文件按原始相对路径保存到目标桶的根目录。
保存到指定目录:将源桶中的文件保持原始相对路径保存到指定目录中。 例如: 源桶中的文件 /a.txt/dir/b.txt 两个文件,文本框中填写“dest”,那么迁移后这两个文件在目标桶中的路径为:/dest/a.txt/dest/dir/b.txt。 如果文本框中填写 dest/20180901,那么迁移后这两个文件在目标桶中的路径为:/dest/20180901/a.txt/dest/20180901/dir/b.txt
同名文件:指定同名文件的处理方式。
注意
若同名文件选择覆盖,则迁移时会直接覆盖掉同名文件。
若同名文件选择跳过,会基于文件最后修改时间 LastModified 判断,即
如果源地址中文件的 LastModified 晚于或者等于目的地址中文件的 LastModified,则执行覆盖。
如果源地址中文件的 LastModified 早于目的地址中文件的 LastModified,则执行跳过。
若在迁移过程中对象(文件)内容有变化,需要进行二次迁移。
文件存储方式:根据迁移的需求,设定迁移后文件的存储方式,可以选择:标准存储、低频存储、保持原存储属性、归档存储。
6. 选择迁移模式。



模式选择:
新建迁移任务后立即启动全托管迁移:选择托管迁移,用户单击“新建并启动”后 MSP 服务将通过公网访问源存储进行迁移。
新建迁移任务后手动下载 Agent 启动迁移:选择 Agent 模式迁移,用户在单击“新建并启动”后,将仅创建任务配置,需要用户手动下载 Agent 在迁移源一侧的服务器上部署之后才会正式启动迁移。迁移 Agent 部署参考文档:半托管迁移 Agent 的使用说明



定时任务设置:定时任务可以重复运行任务,可以对源桶中的增量文件做出同步。除了第一次任务是立即执行,之后会根据定时设置在固定间隔时间之后或者 Cron 设定的定时规则时触发再次运行。再次运行时“同名文件”会变为“跳过(保留目标桶中已有的同名文件)”,即只同步增量文件。
7. 单击新建并启动,即可启动迁移任务。



查看迁移状态和进度

在文件迁移工具主界面中,可以查看所有文件迁移任务的状态和进度:
“任务完成”状态,绿色是任务完成并且所有文件都迁移成功,黄色是迁移任务完成但部分文件迁移失败。
单击“重试失败任务”链接后,该任务中失败的文件将会重试迁移,已经成功迁移的文件不会重传。
单击“导出”链接可以导出迁移过程中失败的文件列表。

如何预估文件迁移时间

迁移速度由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。详情请参见 预估文件迁移时间