生信（四）命令行并行化工具GNU parallel

关键词：parallel

我们在日常工作中经常要“批量”处理一些任务，比如“批量”解压目录下的gz文件。当然，用shell写一个for循环是很简单就可以实现的，比如下面这样：

或者像这样利用 xargs 命令：

或者利用 find 命令：

但是这样的操作往往是很耗时的，因为它是“顺序”执行的，也就是说如果有f1.gz，f2.gz，f3.gz这三个压缩文件的话，f2.gz必须要等f1.gz解压完成后才能开始解压。同理，f3.gz也必须要等f2.gz解压完成后才能开始解压。

那有没有一种方法可以同时解压这三个文件呢？答案就是并行化处理。一般并行化的背后是多线程或者多进程。比如，可以利用Python的threading（多线程模块）或multiprocessing模块（多进程模块）来实现并行化。但是，操作Python模块的做法显得有些“笨重”，有没有更简单的方法，比如命令行工具呢？GNU parallel就是基于此目的开发的命令行并行化工具。

让我们来看看parallel是如何并行化处理上面的例子：

parallel的更多用法请参考其项目主页（http://www.gnu.org/software/parallel/）。值得注意的是GNU parallel需要自行安装，不过安装很简单就是了。