由于各种不同的问题,我们经常会遇到需要将一个大文件分割存储的问题。比如github里单个文件大小一般不能超过100M、比如FAT32文件系统里单个文件大小不能超过4G,比如我们想把某一个数据文件分割存储和查看,比如对日志文件进行分割保存等等。
在ubuntu下,这个工作其实相当简单,只需要牵涉到两个命令:split、cat.
split命令用来将一个大文件分割成多个小文件,可以固定大小分割(常用于分割二进制文件),还可以固定行数分割(常用于分割文本文件)。
按行分割
$ split -l 10 data subdata-
$ ls
data subdata-ab subdata-ad subdata-af subdata-ah subdata-aa subdata-ac subdata-ae subdata-ag
-l参数指定每个文件的行数,然后带分割的数据文件,以及分割后重新命名的文件前缀。默认分割出的文件是固定前缀加字典序,这样也是为了方便重组是不扰乱顺序。
按大小分割
$ split -b 10M data subdata-
-b参数指定用二进制分割,也就是指定文件大小,剩下的与按行分割类似。
用数字后缀
如果不喜欢英文字母后缀,我们可以用-d参数表示我们期望用数字来表示顺序。
$ split -d -l 10 data subdata-
$ ls
data subdata-00 subdata-01 subdata-02 subdata-03 subdata-04
一直以为cat就是用来显示文件的。。其实cat本来的用途就是文件的组合。
对于用split命令生成的以subdata-为固定前缀的文件:
subdata-00 subdata-01 subdata-02 subdata-03 subdata-04
我们可以非常方便的用cat命令进行组合,而不影响文件顺序:
$ cat subdata-* >data