文档中心 对象存储 最佳实践 高效安全地迁移数据至对象存储 COS

高效安全地迁移数据至对象存储 COS

最近更新时间:2018-11-06 14:36:34

概述

对象存储 COS 支持多种数据迁移方式,用户可以按照不同的迁移场景选择不同的数据迁移方式。本文档总结归纳了几种典型的迁移场景所适用的迁移方式,以及对应的迁移操作步骤和操作技巧,帮助用户高效、安全地将数据迁移到对象存储 COS。

迁移类型 迁移方式
线上迁移 COS Migration 迁移服务平台 MSPCOS 回源
线下迁移 云数据迁移 CDM

迁移场景

1. 本地数据迁移至对象存储 COS

对于拥有本地 IDC 的用户,对象存储 COS 在不同迁移类型上支持以下几种迁移方式,帮助用户将本地 IDC 的海量数据快速迁移至对象存储 COS。

用户可依据数据迁移量、IDC 出口带宽、IDC 空闲机位资源、可接受的迁移完成时间等因素来考虑如何选择迁移方式。下图展示的是使用线上迁移时预估的时间消耗,可以看出,若此次迁移周期超过 10 天的时间或者迁移数据量超过 50TB,我们建议您选择 云数据迁移 CDM 进行线下迁移。否则,请选择线上迁移。

注意:
1MB 以下的小文件数量较多、磁盘 IO 性能不足等等也会影响到数据的迁移进度。

2. 第三方云存储上的数据迁移至对象存储 COS

对于使用第三方云存储的用户,想要实现跨云平台进行数据迁移,对象存储 COS 支持有以下两种迁移方式可供选择:

这两种迁移方式都支持查看数据迁移进度、文件一致性校验、失败重传、断点续传等功能,能够满足用户数据基本的迁移需求。但这两种迁移方式在交互形式和功能特点等方面又有所差别,如下表所示。用户可根据以下差异性对比表,选择最适合的一种方式进行数据迁移。值得注意的是,使用迁移服务平台 MSP 进行数据迁移需要申请使用权限。

迁移方式 交互形式 区分大小文件的阈值 迁移并发度 HTTPS 安全传输
COS Migration 修改配置文件,非可视化操作 可自定义调整 针对大文件小文件分别定义并发度 可选择是否开启,关闭有利于加快迁移速度
迁移服务平台 MSP 可视化页面操作 采用默认设置 全局统一 开启

3. 数据以 URL 作为源地址迁移至对象存储 COS

对于用户想要使用 URL 列表作为数据源地址进行数据迁移。对象 COS 支持有以下 3 种方式:

COS Migration 和迁移服务平台 MSP 的选择可参考上面场景 2 的介绍部分。在数据源站迁移上云的过程中,如果用户只希望把数据源站中的热数据全部迁移至云端,而冷数据保留在源站,可以采取 COS 回源 的迁移方式。COS 回源可以实现将有读写请求访问的热数据迁移至对象存储 COS,自动对低频访问的业务数据进行冷热分层。

4. 对象存储 COS 之间的数据迁移

对于正在使用对象存储 COS 的用户,如需要将一个存储桶的数据迁移至同个账号下的另一个存储桶(或者跨账号跨地域的存储桶),可以使用对象存储 COS 提供的跨区域复制功能进行数据迁移,目前该功能还没正式上线,敬请期待。

迁移实践

COS Migration

COS Migration 是一个集成了 COS 数据迁移功能的一体化工具。用户只需要通过简单的配置操作,便可将数据快速迁移至 COS 中。

迁移操作有以下几个步骤:

  1. 安装 Java 环境
  2. 安装 COS Migration 工具
  3. 修改配置文件
  4. 启动工具

具体的操作方法,请参阅 COS Migration 文档

操作技巧

下面介绍如何配置 COS Migration 能最大程度提高迁移速度:

  1. 根据自身网络环境调整区分大小文件的阈值和迁移并发度,实现大文件分块,小文件并发传输的最佳迁移方式。
    在配置文件 config.ini[common] 分节,修改smallFileThreshold 小文件阈值参数,大于等于这个阈值使用分块上传 ,默认设置为5MB。分别修改大文件并发度bigFileExecutorNum 和小文件并发度smallFileExecutorNum ,如果是通过外网来连接 COS,且带宽较小,请减小该并发度。小文件与大文件的并发度分别默认为 64 和 8。

  2. 调整工具执行时间和设立带宽限制,保证自身业务运行不受迁移数据带宽占用影响。
    在配置文件 config.ini[common] 分节,修改参数executeTimeWindow ,该参数定义迁移工具每天执行的时间段 ,其他时间则会进入休眠状态,休眠态暂停迁移并会保留迁移进度, 直到下一个时间窗口自动继续执行。

  3. 采用分布式并行传输可以进一步加快迁移速度。用户可以考虑使用多台机器安装 COS Migration 并分别执行不同源数据的迁移任务。

迁移服务平台 MSP

迁移服务平台 MSP 是集成了多种迁移工具,并且提供可视化界面的平台,能够帮助用户轻松监控和管理大规模的数据迁移任务。其中“文件迁移工具”能帮助用户将数据从各类公有云和数据源站中迁移至对象存储 COS。

迁移操作有以下几个步骤:

  1. 通过控制台导航栏中的【迁移工具】找到“文件迁移工具” 入口并启用。
  2. 新建迁移任务并配置任务信息。
  3. 启动任务。

具体操作请查阅 迁移工具 文档。

操作技巧

在进行数据迁移过程中,数据源的读取速度会因为不同的网络环境而有所不同,但客户根据实际状况在“新建文件迁移任务”时选择较高的QPS并发度,有助于提高迁移速度 。

云数据迁移 CDM

云数据迁移 CDM 是利用腾讯云提供的离线迁移专用设备,帮助用户将本地数据迁移至云端的一种迁移方式,可解决本地数据中心通过网络传输迁移云端时间长、成本高、安全性低的问题。

迁移操作主要有以下几个步骤:

  1. 前往云数据迁移 CDM 控制台提交申请。
  2. 申请审核通过后,用户等待签收设备。
  3. 收到设备后,按照迁移设备手册把数据拷贝至设备。
  4. 完成数据拷贝后,在控制台提交回寄申请并等待腾讯云把数据迁往对象存储 COS。

详情请参考 云数据迁移 CDM 产品文档。

操作技巧

下面介绍如何高效安全通过离线迁移迁移数据至腾迅云对象存储 COS。

  1. 在 IDC 配置 10Gbps 的网络环境,为避免本地数据环境成为传输瓶颈,您可配备高性能的挂载点机器,最大程度加速拷贝。
  2. 适用 CDM 传输数据最快的方式是并行传输数据,用户通过监控设备的 CPU 和内存使用率,如果当前迁移速度低于预期,可以选择以下并行传输方式。
    • 多台设备通过不同网络接口连接同一个 CDM 设备。
    • 多台设备通过不同网络接口连接多台 CDM 设备。

COS 回源

COS 回源是把数据源站中有读写访问请求的数据自动迁移至腾讯云的对象存储 COS。此迁移方式不仅可以帮助用户快速对数据进行冷热分层,还能加快业务系统中热数据的读写访问速度。

迁移操作主要有以下几个步骤:

  1. 进入对象存储的控制台,在待迁移数据的目的 bucket 中开启回源设置。
  2. 配置 bucket 回源地址,然后保存。
  3. 将业务系统的读写请求转到腾讯云对象存储 COS 上。

具体操作请参考 回源设置 控制台指南文档。

操作技巧

以下步骤可以完成源数据的冷热分离,热数据无缝迁移到腾讯云对象存储 COS,以便加快热数据的读取请求速度。

  1. 将业务系统的读写请求切换到 COS 上,在 COS 控制台打开回源设置功能,回源地址为数据源站,此时系统结构如下图所示。

  2. 一段时间后,冷数据仍然在源站,但热数据已经迁移至腾讯云对象存储 COS。迁移过程中业务系统不受影响。