使用 DTS 进行迁移

最近更新时间:2019-10-16 10:20:54

DTS 简介

腾讯云数据传输服务(Data Transmission Service,DTS)是提供数据迁移、数据同步、数据订阅于一体的数据库数据传输服务。帮助您在业务不停服的前提下轻松完成数据库迁移,利用实时同步通道轻松构建异地容灾的高可用数据库架构,利用数据订阅提供的云数据库实时增量更新数据,用户可根据自身业务需求自由消费增量数据。 DTS for Redis 目前支持各种网络场景、各种版本的 Redis 数据迁移。

术语 说明
源实例 迁移的源实例。
目标实例 迁移的目标实例,即用户购买的腾讯云数据库 Redis。
CVM 自建 用户在腾讯云服务器上部署的 Redis 服务。
公网自建 用户在外网环境下部署的 Redis 服务。

迁移支持说明

支持功能

  • 数据迁移:DTS 迁移服务支持一次性将数据迁移到云上。
  • 数据同步:DTS 迁移服务支持全量迁移 + 增量同步的方式将数据实时同步到云上。

支持版本

  • DTS 迁移服务支持的版本包括 Redis 2.8、3.0、3.2、4.0。
  • 支持的架构包括单节点、redis cluster、codis、tewmproxy。
  • 迁移权限要求:DTS 迁移数据需要源实例支持 SYNC 或者 PSYNC 命令。

支持网络

DTS 迁移服务支持常见的网络迁移,包括公网、CVM 自建、专线接入、VPN 接入、云联网场景下的数据迁移与数据同步。

支持场景

  • 上云迁移:支持将您在传统 IDC 的 Redis 迁移到云数据库 Redis,帮助您的业务高效、便捷的完成上云迁移。
  • 云上自建迁移:支持将您在腾讯云或者其他云上,通过虚拟机自建的 Redis 服务迁移到腾讯云。
  • 其他云厂商 Redis 服务迁移:支持将其他云厂商提供的 Redis 数据迁移到腾讯云,前提条件是云厂商需要提供 SYNC 或者 PSYNC 命令权限。
  • 云实例间迁移:支持在云实例间进行数据迁移或者实时同步,支持的版本如下:
               目标实例
    源实例
    2.8标准版 4.0标准版 4.0集群版
    2.8标准版
    4.0标准版 x
    4.0集群版 x

迁移限制

  • 为保障迁移效率,CVM 自建实例迁移不支持跨地域迁移。
  • 外网实例迁移时,需确保源实例服务在外网环境下可访问。
  • 进行迁移任务时,只允许迁移正常运行状态下的实例,未初始化密码或者有其他任务在执行中的实例,不能迁移。
  • 目标实例必须是没有数据的空实例,迁移过程中,会锁住实例,不能对实例进行写入操作。
  • 迁移成功时,由业务侧验证数据后,可断开源实例连接,将连接切换到目标实例。

迁移过程

1. 新建迁移任务

1)登录 数据传输服务控制台 ,在数据迁移列表,单击【新建任务】创建迁移任务。
2)在【链路地域】选择对应地域,单击【0元购买】。

2. 设置任务

  • 任务名称:为任务指定名称。
  • 定时执行:为迁移任务指定开始时间。
    说明:

    • 修改定时任务,校验通过后,需要重新单击【定时启动】,任务才会定时启动。
    • 如果任务过了定时启动的时间,定时启动会变为立即启动,单击【立即启动】,会立刻启动任务。

3. 设置源库和目标库

以 CVM 上的 Redis 实例为例说明,外网实例迁移下同。

字段 描述 备注 必填
任务名称 迁移任务的名称 方便用户管理任务
CVM 实例 ID 源 Redis 实例所在的腾讯云服务器 ID 迁移任务会根据 CVM 实例 ID,检查云服务器运行情况
CVM 内网 IP 源 Redis 实例所在的腾讯云服务器的内网 IP 迁移任务会检查云服务器内网 IP
端口 源实例端口号 迁移任务会访问源实例服务
密码 源实例密码 访问源实例服务时,有 auth 鉴权
实例 ID 目标实例 ID 同步数据到目标实例

集群版迁移说明
DTS 服务支持 Redis 集群版迁移,不论是 Redis Cluster、Codis 或者是 tewmproxy 架构的集群方案,只需要在 DTS 任务创建的节点信息中,将原集群的所有分片节点地址以及密码填如节点信息即可,强烈建议从源实例的副本节点(从节点)进行数据迁移,避免影响源实例的业务访问。DTS支持无密码迁移,迁移填充信息参考如下:

4. 启动迁移任务

1)网络连通性测试成功,单击【保存】。
2)DTS 服务将开始检验迁移任务,满足迁移条件后,即可启动迁移任务。
3)启动任务后,任务状态变为【校验中】,任务会再做一次参数校验,校验期间只能取消任务、查看任务和查看校验情况。
4)参数校验成功后,数据开始迁移。
数据同步阶段,会展示数据偏移量、源实例、目标实例 key 变化情况。

5. 设置迁移告警

DTS 服务支持迁移中断告警,以便及时了解到迁移任务的异常,迁移告警配置流程如下:
1)登录 云监控控制台,在左侧导航选择【告警配置】>【告警策略】页面。
2)单击【新增】新建策略,进行告警策略配置。

  • 策略类型:选择【数据传输服务】>【自建迁移】。
  • 告警对象:选择需要监控的 DTS 任务,配置【触发条件】和【告警对象】完成告警配置。

6. 完成迁移任务

断开同步前,可在目标实例上验证数据,如果验证无误,即可完成迁移任务。
当源实例和目标实例的 key 同步一致时,单击【完成】确定,即可完成数据同步操作。