如何将一个大的文本文件拆分为行数相等的小文件

问：

我有一个大（按行数）纯文本文件，我想把它分成更小的文件，也是按行数。所以，如果我的文件有大约2M行，我想把它分成10个包含20万行的文件，或者100个包含2万行的文件（加上剩余行产生的一个文件，能否被整除无关紧要）。

我可以用Python轻松地完成这个任务，但我想知道是否有任何方式可以用Bash和Unix工具（而不是手动循环和计算/分区行）来完成这个任务。

答：

方法一

使用 split 命令：

split -l  largefile

测试及验证方式：

for ((i=1;i<=99998;i++)); do echo $i; done > largefile
split -l 20000 largefile
wc -l xa*

可以使用 split --help 查看帮助文档。

另一个选项，按输出文件的大小(比如 20M 字节)拆分：

split -C 20m --numeric-suffixes input_filename output_prefix

方法二

使用 awk 命令：

awk -v lines= -v fmt="f-%d.txt" '{print>sprintf(fmt, 1+int((NR-1)/lines))}' largefile

测试截图如下：

参考文档：

• stackoverflow question 2016894
• https://www.man7.org/linux/man-pages/man1/split.1.html