linux 使用 mwget 实现多线程下载

linux中的wget是一个常用的下载命令，但它是单线程的

场景

我的项目中，用户上传图片时为了减轻服务器压力，直接把图片上传到了阿里云存储中，同时还希望自己服务器保留用户的图片，就使用了wget定时从阿里云获取图片 随着用户上传图片量的增加，希望更快的下载图片，使用单线程的wget执行下载任务稍显不足，就想自己写一个多线程下载程序，这时发现了一个多线程版本的wget - mwget，马上安装试用

测试

云存储中有一个11M的图片，分别使用 wget 和 mwget 进行下载测试，各测试了5次，从平均结果看，mwget 的确更快，较wget快了3倍左右 初次测试结果很不错，后期会在不同时间点和对更多的文件进行下载测试，如果结果很稳定，会考虑在正式环境使用

安装

下面是安装过程，有兴趣的话可以试下 # wget http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2 # tar -xjvf mwget_0.1.0.orig.tar.bz2 # cd mwget_0.1.0.orig # ./configure # make # make install 安装 mwget 时可能会需要 xmlparser、gettext、intltool，我的系统为centos，执行下面的几个命令来安装 # yum install perl-XML-Parser # yum install gettext # yum install intltool