腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

haifeiWu与他朋友们的专栏

https://www.hchstudio.cn/

专栏作者

81

文章

93853

阅读量

20

订阅数

复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

云数据库 SQL Server 其他 http git jenkins

从毕业到现在第一次接触到超过30万条数据导入MySQL的场景（有点low），就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中，因此楼主负责的模块connector就派上了用场。在楼主的努力下，线上数据同步代码经历了从最初的将近16个小时（并且还出现其他问题这些问题，等后面慢慢细说），到最终25分钟的性能优化。打个广告，楼主自己造的轮子，感兴趣的请点https://github.com/haifeiWu/lightconf

2018-09-11

1K0

阿里离线数据同步工具 DataX 踩坑记录

数据迁移云数据库 SQL Server sql oracle postgresql

最近在做一些数据迁移相关工作，调研了一些工具，发现DataX是个不错的东西，所以安利给大家。那么DataX是什么呢？ DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具，实现包括 MySQL、SQL Server、Oracle、PostgreSQL 等各种异构数据源之间高效的数据同步功能。

2018-09-11

4.4K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态