如何快速将第三方云存储数据迁移至腾讯云对象存储COS

迁移说明

原文发布于微信公众号:腾讯云存储(关注有惊喜)

对于使用第三方云平台存储的用户,对象存储 COS 支持以下两种迁移方式,帮助用户将第三方云平台的存储数据快速迁移至对象存储 COS。

迁移方式

交互形式

区分大小文件的阈值

迁移并发度

HTTPS 安全传输

迁移服务平台 MSP

可视化页面操作

采用默认设置

全局统一

开启

COS Migration

修改配置文件,非可视化操作。

可自定义调整

针对大文件小文件分别定义并发度

可选择是否开启,关闭有利于加快迁移速度。

迁移方法

一、迁移服务平台 MSP

迁移服务平台 MSP 是集成了多种迁移工具,并且提供可视化界面的平台,能够帮助用户轻松监控和管理大规模的数据迁移任务。

其中“文件迁移工具”能够帮助用户将数据从各类公有云或数据源站中迁移至对象存储 COS。

迁移操作步骤如下:

1. 登录 控制台→迁移服务平台 MSP。

2. 单击左侧菜单栏中的【迁移工具】,找到“文件迁移工具”入口,并单击【立即使用】。

(点击查看大图,看的更清楚哟)

3. 新建迁移任务并配置任务信息。

(点击查看大图,看的更清楚哟)

4. 启动任务。

在新建迁移任务当中,可以看到支持的第三方云存储迁移平台有6个。

以下迁移教程,会在下篇中详解:

  • 阿里云 OSS 迁移
  • 七牛云 KODO 迁移
  • UCLOUD UFile 迁移
  • 金山云 KS3 迁移
  • 百度云 BOS 迁移
  • AWS S3 迁移

操作技巧:

在进行数据迁移过程中,数据源的读取速度会因为不同的网络环境而有所不同,但客户根据实际状况在“新建文件迁移任务”时选择较高的 QPS 并发度,有助于提高迁移速度 。

二、COS Migration

COS Migration 是一个集成了 COS 数据迁移功能的一体化工具。用户只需要通过简单的配置操作,便可将数据快速迁移至 COS 中。

迁移操作步骤如下:

1. 安装 Java 环境。

2. 安装 COS Migration 工具。

3. 修改配置文件。

4. 启动工具。

具体的操作方法,请点击查看 COS Migration 工具。

操作技巧:

下面介绍如何配置 COS Migration 能最大程度提高迁移速度:

1. 根据自身网络环境调整区分大小文件的阈值和迁移并发度,实现大文件分块,小文件并发 传输的最佳迁移方式。

调整工具执行时间和设立带宽限制,保证自身业务运行不受迁移数据带宽占用影响。上述 调整可在配置文件 config.ini 中[common]分节,修改如下参数进行调整:

参数名称

参数说明

smallFileThreshold

小文件阈值参数,大于等于这个阈值使用分块上传,默认设置为5MB。

bigFileExecutorNum

大文件并发度,默认值为8。如果是通过外网来连接 COS,且带宽较小,请减小该并发度。

smallFileExecutorNum

小文件并发度,默认值为64。如果是通过外网来连接 COS,且带宽较小,请减小该并发度。

executeTimeWindow

该参数定义迁移工具每天执行的时间段,其他时间则会进入休眠状态,休眠状态暂停迁移并会保留迁移进度,直到下一个时间窗口自动继续执行。

2. 采用分布式并行传输可以进一步加快迁移速度。用户可以考虑使用多台机器安装 COS Migration 并分别执行不同源数据的迁移任务。

扫一扫关注 有惊喜

本文分享自微信公众号 - 腾讯云存储(gh_30cb70e39822)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏刷题笔记

1051 复数乘法 (15 分)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

6530
来自专栏Techo开发者大会

谢明:腾讯基础设施和技术架构已经进入“生而为云”的新阶段

11月6日,腾讯Techo开发者大会在北京召开。会上,腾讯云副总裁、云架构平台部总经理谢明首次对外披露了腾讯基础设施演进与创新历程。他介绍,在微信、QQ等国民级...

17600
来自专栏Linyb极客之路

springboot实战之文件分片上传、断点续传、秒传

上传是一个老生常谈的话题了,在文件相对比较小的情况下,可以直接把文件转化为字节流上传到服务器,但在文件比较大的情况下,用普通的方式进行上传,这可不是一个好的办法...

21110
来自专栏大数据成神之路

Redis选13亿个Key,4个field还是1亿个Key,13亿*4个field?

哈希hash又称为散列、杂凑等,是将任意长度的输入通过散列算法变换为固定长度的输出,最终输出也就是哈希值。这种转换是一种压缩映射。也就是说,散列值的空间通常要远...

11720
来自专栏艺述思维

前端:选取、预览、裁剪、上传、断点续传,关于图片上传那点事

进入 Html5 时代,在页面中开启上传功能,只需要一个 input 组件。type 代表上传,accept 代表接受的文件类型,capture 代表从摄像头拍...

11840
来自专栏互联网运维杂谈

自动化运维之后,你还在人工巡检吗?

初期阶段IT基础设施通常处在小规模状态。几台至几十台机器的规模,足以满足业务需求。很多公司都不一定配有专门的运维人员或者部门,业务开发人员完成自己业务工作的同时...

11710
来自专栏DevOps持续集成

使用 Rook 快速搭建 Ceph 集群

Rook 是一个开源的云原生存储编排工具,提供平台、框架和对各种存储解决方案的支持,以和云原生环境进行本地集成。

12200
来自专栏科研猫

TCGA数据库挖掘肿瘤相关基因突变(1)

TCGA(The Cancer Genome Atlas)是美国国家癌症研究所(NCI)和美国人类基因组研究所(NHGRI)共同开发的大型肿瘤研究项目,旨在通过...

9620
来自专栏沉默王二

Stack Overflow 上 370万浏览量的一个问题:如何比较 Java 的字符串?

在逛 Stack Overflow 的时候,发现了一些访问量像喜马拉雅山一样高的问题,比如说这个:如何比较 Java 的字符串?访问量足足有 370万+,这不得...

8330
来自专栏长远的EMR

EMR入门学习之腾讯云对象存储COS(八)

COS(Cloud Object Storage),一种海量的分布式存储服务,用户可以随时通过互联网对大量数据进行批量存储,兼具性能与共享能力,适用于大数据场景...

10930

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励