前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >程序员如何快速将海量本地数据迁移至腾讯云对象存储COS

程序员如何快速将海量本地数据迁移至腾讯云对象存储COS

作者头像
云存储
修改2019-12-06 11:00:23
1.8K0
修改2019-12-06 11:00:23
举报
文章被收录于专栏:腾讯云存储腾讯云存储

在大数据时代面对海量的本地文件时,随着云存储的普及,越来越多的用户需要把海量数据从传统的本地存储迁移到新的分布式云基础设施上,这就需要快速高效安全的迁移方法。

原文发布于微信公众号:腾讯云存储(关注有惊喜)

操作场景

对于拥有本地 IDC 的用户,对象存储 COS 在不同迁移类型上支持以下迁移方式,帮助用户将本地 IDC 的海量数据快速迁移至对象存储 COS。

用户可依据数据迁移量、IDC 出口带宽、IDC 空闲机位资源、可接受的迁移完成时间等因素来考虑如何选择迁移方式。

下图展示的是使用线上迁移时预估的时间消耗,可以看出,若此次迁移周期超过10天或者迁移数据量超过50TB,我们建议您选择线下迁移,否则,请选择线上迁移。

注意: 1MB 以下的小文件数量较多、磁盘 IO 性能不足等也会影响到数据的迁移进度。

操作方法说明


一、COS Migration 线上迁移

迁移操作步骤:

1.安装 Java 环境。

2.安装 COS Migration 工具。

3.修改配置文件。

4.启动工具。

具体的操作方法,请参见COS Migration工具文档。

(详情查看:https://cloud.tencent.com/document/product/436/15392)

如何配置才能最大程度提高迁移速度:

1.根据自身网络环境调整区分大小文件的阈值和迁移并发度,实现大文件分块,小文件并发传输的最佳迁移方式。调整工具执行时间和设立带宽限制,保证自身业务运行不受迁移数据带宽占用影响。上述调整可在配置文件 config.ini 中common分节,修改如下参数进行调整:

2.采用分布式并行传输可以进一步加快迁移速度。用户可以考虑使用多台机器安装 COS Migration 并分别执行不同源数据的迁移任务。

二、云数据迁移CDM 线下迁移

迁移操作步骤:

1.前往云数据迁移 CDM 控制台提交申请。

2.申请审核通过后,用户等待签收设备。

3.收到设备后,按照迁移设备手册把数据拷贝至设备。

4.完成数据拷贝后,在控制台提交回寄申请并等待腾讯云把数据迁往对象存储 COS。

详情请参见云数据迁移 CDM产品文档。

(详情查看:https://cloud.tencent.com/document/product/623)

如何高效安全的通过离线迁移把数据迁移至COS:

1.在 IDC 配置10Gbps的网络环境,为避免本地数据环境成为传输瓶颈,可配备高性能的挂载点机器,最大程度加速拷贝 。

2.适用 CDM 传输数据最快的方式是并行传输数据,用户通过监控设备的 CPU 和内存使用率,如果当前迁移速度低于预期,可以选择以下并行传输方式。

  • 多台设备通过不同网络接口连接同一个 CDM 设备。
  • 多台设备通过不同网络接口连接多台 CDM 设备。

扫一扫关注  有惊喜
扫一扫关注 有惊喜
本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2019-11-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯云存储 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档