快速将文件切割为多个小文件
背景：
从DW那边拿到一个9kw行记录的数据库primary_key的csv文件，需要导入到mysql中，然后由业务上通过程序去进行消费及一系列的下游业务逻辑的处理。
目前难点在于如果把这个9kw的大的csv导入到数据库中，如果使用load data这种方式，势必会比较慢，因为load data这是单线程操作。
比较好的思路是先将这个大的csv文件拆分成N个小的csv文件，然后开多个screen去并发往数据库里面导入。
将大的csv拆分为N个小的csv，推荐使用下面的方法：
unzip -p <zipfile> | split -C <size> --additional-suffix=".csv"
类似如下：
# root @ dev-ops in /tmp/aa [21:37:35]
$ cat README.md | split -C 1000 --additional-suffix=".csv"
# root @ dev-ops in /tmp/aa [21:37:40]
$ l
total 20K
-rw-r--r-- 1 root root 3.7K 2021-08-10 21:35 README.md
-rw-r--r-- 1 root root 770 2021-08-10 21:37 xad.csv
-rw-r--r-- 1 root root 965 2021-08-10 21:37 xac.csv
-rw-r--r-- 1 root root 981 2021-08-10 21:37 xab.csv
-rw-r--r-- 1 root root 977 2021-08-10 21:37 xaa.csv然后开多个screen ，使用 load data infile 方式导入到mysql中。 达到提速的目的。
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2021-08-10 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读