腾讯云文件迁移使用指南

迁移上云的时候,会有迁移上腾讯云对象存储(cos)的需求,目前的迁移方案有两种:1、cos提供的COS Migration工具;2、客户自己利用友商和cos的api实现文件的下载和上传。前者需要自己部署,迁移过程中出现问题,难以排查,后者需要自己研发、测试、部署运行,需要投入研发人力和机器成本。总结了一下迁移上到cos的过程中存在的一下几个需求:

1、迁移源的多样性(oss,s3,ucloud,七牛云,百度bos等)或着是cdn上。

2、迁移进度的实时反馈。目前的方案大部分都是靠手动的方式查询迁移的进度。

3、迁移失败的文件能够记录和重试。

4、在保证业务平稳的情况下,能够快速的迁移。单个cos的账号下载和上传限制800qps。

5、迁移的成本要低。目前对象存储的成本主要有:存储空间费用、请求费用、数据取回费用、流量费用。数据通过外网进行迁移的时候会产生一定的费用。

6、能够对cos存储的文件支持自定义设置。比如对文件存储类型和header的自定义设置。

迁移服务平台(msp)的快速迁移对象存储的工具(文件迁移)可以解决以上问题。https://console.cloud.tencent.com/msp/tools

下面是控制台的操作指引:

1、 在控制台https://console.cloud.tencent.com/msp/tools上选择腾讯云文件迁移工具。

2、填写试用信息:行业类型、业务阶段、迁移源、迁移源地域。填写完之后提交审核。

3、审核通过之后就能进入到文件迁移的控制台。

4、 创建迁移任务

4.1迁移源为阿里云oss、UCloud Ufile、百度云 BOS、腾讯云COS、AWS S3(需要单独申请)

填写任务名称、迁移源信息:AccessKey、SecretKey(如何获取请参考各产品的控制台)、迁移源桶名称、文件的存储方式、header迁移方式、迁移规则(全量、或者指定前缀)、执行时间、并发数(用于控制迁移速度,有的产品会有此限制)

填写迁移目标信息:SecretId、SecretKey、迁移桶名称、

填写完成之后勾选我已了解可能的迁移时间以及可能产生的相关成本,即可启动迁移任务。然后可以在控制台列表查看当前任务的迁移进度https://console.cloud.tencent.com/msp/tools_file_migration

4.2迁移源来自cdn或者是url链接的形式,可以使用url列表迁移。

准备迁移的文件url列表,以文本的形式存储,每行一条数据。

在控制台上传url列表文件、选择任务执行的时间、迁移速度,可以在指定的时间段内选择合适的带宽进行迁移,超过任务执行时间,任务会自动终止,用户可以指定闲时迁移。

输入迁移目标信息,SecretId、SecretKey、迁移桶名称。启动任务即可。可以在控制台随时查看迁移任务状态。

迁移完成之后,还可以对迁移失败的文件导出和重试操作,迁移服务平台的文件迁移工具可以快速的实现用户迁移上cos的需求。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

迁移服务平台

1 篇文章3 人订阅

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏前端黑板报

你真的了解 Web 缓存体系吗?

很高兴认识大家,之前做过很多分享,今天这次终于讲到正题了。因为之前一直讲自动化运维,其实做这么多年运维,自动化运维没干多少年。这几年很多公司各方面机器数量多了,...

1241
来自专栏云计算

云自动化:WinRM和SSH

[最初由Barak Merimovich撰写的文章]

2749
来自专栏北京马哥教育

《Linux 性能及调优指南》3.2 CPU瓶颈

对服务器来说主要的角色就是应用服务器或数据库服务器,CPU作为关键资源经常成为性能瓶颈的根源。CPU使用率高并不总是意味着CPU工作繁忙,它有可能是正在等待其他...

3769
来自专栏前端架构与工程

前端工程化-构建

构建的核心是资源管理。简单说,构建就是把前端工程师开发的源代码进行编译、压缩、打包等一系列操作,最终产出可以直接上线或者可供后端工程师的资源。 构建可以划分为纯...

2606
来自专栏黑泽君的专栏

Github全面学习笔记

==================================================== 如何创建分支branch?   分支可以方便同时处理...

2112
来自专栏DevOps时代的专栏

维护了这么久的服务器,你真的认识 Web 缓存体系?

前言 很高兴认识大家,之前做过很多分享,今天这次终于讲到正题了。因为之前一直讲自动化运维,其实做这么多年运维,自动化运维没干多少年。这几年很多公司各方面机器数量...

3148
来自专栏Hadoop数据仓库

HAWQ技术解析(四) —— 启动停止

        前面已经完成了HAWQ的安装部署,也了解了HAWQ的系统架构与主要组件,下面开始使用它。HAWQ作为Hadoop上的一个服务提供给用户,与其它所...

25710
来自专栏zhangdd.com

生产内网ssh登陆变慢问题原因及解决办法

最近发现内网一些服务器ssh连接变慢,原来都是秒开的现在基本上要等10几秒才能返回登陆界面,因为是在内网基本上排除网络连接问题

991
来自专栏数据库新发现

Sun Cluster工作原理介绍(转)

本章的结构安排是以介绍Sun Cluster中重要的概念为主线。相关的工作原理分布在各个概念的介绍之中。     quorum的概念在分布式系统中经常被用到。...

833
来自专栏JavaEdge

Tomcat架构解析之1 架构简介1 核心架构模块说明2 分层建模3 作用域

2945

扫码关注云+社区