快速将文件切割为多个小文件
背景：
从DW那边拿到一个9kw行记录的数据库primary_key的csv文件，需要导入到mysql中，然后由业务上通过程序去进行消费及一系列的下游业务逻辑的处理。
目前难点在于如果把这个9kw的大的csv导入到数据库中，如果使用load data这种方式，势必会比较慢，因为load data这是单线程操作。
比较好的思路是先将这个大的csv文件拆分成N个小的csv文件，然后开多个screen去并发往数据库里面导入。
将大的csv拆分为N个小的csv，推荐使用下面的方法：
unzip -p <zipfile> | split -C <size> --additional-suffix=".csv"
类似如下：
# root @ dev-ops in /tmp/aa [21:37:35]
$ cat README.md | split -C 1000 --additional-suffix=".csv"
# root @ dev-ops in /tmp/aa [21:37:40]
$ l
total 20K
-rw-r--r-- 1 root root 3.7K 2021-08-10 21:35 README.md
-rw-r--r-- 1 root root 770 2021-08-10 21:37 xad.csv
-rw-r--r-- 1 root root 965 2021-08-10 21:37 xac.csv
-rw-r--r-- 1 root root 981 2021-08-10 21:37 xab.csv
-rw-r--r-- 1 root root 977 2021-08-10 21:37 xaa.csv然后开多个screen ，使用 load data infile 方式导入到mysql中。 达到提速的目的。
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2021/08/10 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
相关产品与服务
文件存储
文件存储（Cloud File Storage，CFS）为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用，为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用，可实现对现有应用的无缝集成；按实际用量付费，为您节约成本，简化 IT 运维工作。
腾讯云开发者
