腾讯云文件迁移使用指南

迁移上云的时候,会有迁移上腾讯云对象存储(cos)的需求,目前的迁移方案有两种:1、cos提供的COS Migration工具;2、客户自己利用友商和cos的api实现文件的下载和上传。前者需要自己部署,迁移过程中出现问题,难以排查,后者需要自己研发、测试、部署运行,需要投入研发人力和机器成本。总结了一下迁移上到cos的过程中存在的一下几个需求:

1、迁移源的多样性(oss,s3,ucloud,七牛云,百度bos等)或着是cdn上。

2、迁移进度的实时反馈。目前的方案大部分都是靠手动的方式查询迁移的进度。

3、迁移失败的文件能够记录和重试。

4、在保证业务平稳的情况下,能够快速的迁移。单个cos的账号下载和上传限制800qps。

5、迁移的成本要低。目前对象存储的成本主要有:存储空间费用、请求费用、数据取回费用、流量费用。数据通过外网进行迁移的时候会产生一定的费用。

6、能够对cos存储的文件支持自定义设置。比如对文件存储类型和header的自定义设置。

迁移服务平台(msp)的快速迁移对象存储的工具(文件迁移)可以解决以上问题。https://console.cloud.tencent.com/msp/tools

下面是控制台的操作指引:

1、 在控制台https://console.cloud.tencent.com/msp/tools上选择腾讯云文件迁移工具。

2、填写试用信息:行业类型、业务阶段、迁移源、迁移源地域。填写完之后提交审核。

3、审核通过之后就能进入到文件迁移的控制台。

4、 创建迁移任务

4.1迁移源为阿里云oss、UCloud Ufile、百度云 BOS、腾讯云COS、AWS S3(需要单独申请)

填写任务名称、迁移源信息:AccessKey、SecretKey(如何获取请参考各产品的控制台)、迁移源桶名称、文件的存储方式、header迁移方式、迁移规则(全量、或者指定前缀)、执行时间、并发数(用于控制迁移速度,有的产品会有此限制)

填写迁移目标信息:SecretId、SecretKey、迁移桶名称、

填写完成之后勾选我已了解可能的迁移时间以及可能产生的相关成本,即可启动迁移任务。然后可以在控制台列表查看当前任务的迁移进度https://console.cloud.tencent.com/msp/tools_file_migration

4.2迁移源来自cdn或者是url链接的形式,可以使用url列表迁移。

准备迁移的文件url列表,以文本的形式存储,每行一条数据。

在控制台上传url列表文件、选择任务执行的时间、迁移速度,可以在指定的时间段内选择合适的带宽进行迁移,超过任务执行时间,任务会自动终止,用户可以指定闲时迁移。

输入迁移目标信息,SecretId、SecretKey、迁移桶名称。启动任务即可。可以在控制台随时查看迁移任务状态。

迁移完成之后,还可以对迁移失败的文件导出和重试操作,迁移服务平台的文件迁移工具可以快速的实现用户迁移上cos的需求。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

迁移服务平台

1 篇文章3 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT大咖说

VMware vSphere 6.7 新功能介绍

内容来源:2018 年 06 月 19 日,VMware大中华区原厂高级技术讲师姚泉在“VMware在线技术专题分享·第二期”进行《VMware vSphere...

5933
来自专栏云瓣

使用 Node.js 搭建一个 API 网关

外部客户端访问微服务架构中的服务时,服务端会对认证和传输有一些常见的要求。API 网关提供共享层来处理服务协议之间的差异,并满足特定客户端(如桌面浏览器、移动设...

6667
来自专栏黑泽君的专栏

Github全面学习笔记

==================================================== 如何创建分支branch?   分支可以方便同时处理...

2512
来自专栏linux驱动个人学习

硬盘写到一半时断电,文件系统里会发生什么?

知乎问题: 断电时文件系统发生了什么?硬盘又发生了什么?下一次开机时写到一半的文件在系统层面还在吗?在底层还在吗? 更进一步的, 文件系统如何保证事务性, 会不...

2974
来自专栏JavaEdge

Tomcat架构解析之1 架构简介1 核心架构模块说明2 分层建模3 作用域

3095
来自专栏Hadoop数据仓库

HAWQ技术解析(四) —— 启动停止

        前面已经完成了HAWQ的安装部署,也了解了HAWQ的系统架构与主要组件,下面开始使用它。HAWQ作为Hadoop上的一个服务提供给用户,与其它所...

28510
来自专栏云计算

云自动化:WinRM和SSH

[最初由Barak Merimovich撰写的文章]

3129
来自专栏大魏分享(微信公众号:david-share)

厉害了:全数据中心密码管理系统的建设--构建数据中心一体化运维平台第三篇

前言:本文中所引用的文档均为Redhat 技术专家杨金锋所提供。此方案,大卫也多次请教红帽技术专家陈镇。 密码管理系统的必要性 在大多数客户数据中心内部,密...

5677
来自专栏DevOps时代的专栏

维护了这么久的服务器,你真的认识 Web 缓存体系?

前言 很高兴认识大家,之前做过很多分享,今天这次终于讲到正题了。因为之前一直讲自动化运维,其实做这么多年运维,自动化运维没干多少年。这几年很多公司各方面机器数量...

3618
来自专栏Golang语言社区

Golang - 调度剖析【第一部分】

首先,Golang 调度器的设计和实现让我们的 Go 程序在多线程执行时效率更高,性能更好。这要归功于 Go 调度器与操作系统(OS)调度器的协同合作。不过在本...

1492

扫码关注云+社区

领取腾讯云代金券