新增MySQL to ClickHouse，Squids DBMotion再添利器
新增MySQL to ClickHouse，Squids DBMotion再添利器
DBMotion
Squids
继大改版之后，经过一个月的努力，Squids DBMotion再添一项利器——增加了对MySQL to ClickHouse的支持。除此之外，还新增了一些特性以及其它功能的变更。
ClickHouse
简介
ClickHouse是一个开源的列式存储数据库，其主要场景用于在线分析处理查询（OLAP），可以使用SQL查询，实时生成分析数据报告。ClickHouse的数据分析能力比传统数据库大幅提升，功能丰富、可靠性高，目前已成为交互式分析领域中最受欢迎的数据库之一。
新增
D B M o t i o n
特性
01
支持MySQL到ClickHouse的迁移
我们直接来看，在DBMotion上，是如何让你的OLTP在线交易平台上的数据迁移到ClickHouse离线分析平台上来的。
添加MySQL到ClickHouse的迁移任务
- 首先，进入 DBMotion的页面，点击免费使用。 https://squids.cn/product/dbmotion
- 登录DBMotion的任务列表页面。 https://console.squids.cn/console/transfer
- 单击“添加任务”按钮，进入“源端目标库配置”。选择MySQL->ClickHouse，填入迁移实例。
- 点击“测试连接以进行下一步”，进入“迁移选项配置”页。下图的源库，使用的是MySQL的测试库employee。
- 最后，需要用户确认配置，并进行预检查。
- 新建任务成功，返回任务列表。
查看迁移任务执行的情况
- 点击任务名称，进入任务详情页面。
- 进入对象迁移页面，可以看到6个表在3秒内迁移完成。
- 全量迁移。阿里云和华为云的跨云400万行迁移，每秒35000行左右。
- 增量迁移。记录了目前同步到的位点。
我们来验证一下增量同步是否正常：
- 在源库上对employee表进行了insert、update、delete操作。
- 在目标库上查询对应表数据是否一致：
从上图可以看到，同步速度延迟基本是秒级别，并且数据是完全一致的。
- 数据校验。DBMotion还提供了数据校验的功能。 如果源库和目标库数据不一致，则可以点击进行重新全量数据同步。
- 结束迁移。迁移完成以后，就可以点击“关闭增量，结束迁移”了。
02
断点续传功能
本次新增了断点续传功能，用户迁移失败或者手工中断迁移任务后，可以从失败或者中断的点继续同步。
用户在任务列表可以点击“暂停”按钮，来暂停这个迁移任务。
处于暂停状态的任务，可以点击“继续”按钮，继续执行迁移任务。
同样，处于同步失败状态的任务，在检查和修复问题后，也可以点击“继续”按钮来继续执行任务。
03
支持表级别的同步迁移
之前的版本只允许schema级别的迁移和验证。
2209版本支持表级别的选择。
04
丰富迁移过程展示页面
在对象迁移、全量迁移、增量迁移、数据校验展示页面，增加了迁移运行时间, 迁移速度以及剩余时间的展示，方便客户了解迁移的状态和进度信息。
其它
D B M o t i o n
更新
✦ ✦✦ ✦✦ ✦✦ ✦
- 默认对ARCHIVE，MyISAM，MRG_MYISAM引擎表做innodb引擎转变, 其它默认不改变引擎。
- 检查连接优化: 检查连接时明确具体原因, 明确到底是数据库连接不上、端口不通或网络不通等其他原因。
- 预检查优化: 3.1数据库参数检查，新增sql_big_selects/max_join_size/sql_select_limit 检查。 3.2 非主键表检查显示表大小和行数 3.3 通过查询mysql.user表来做源端权限检查
- 取消原来slave增量模式和mysqldump模式迁移用户功能。