linux中的wget是一个常用的下载命令,但它是单线程的
场景
我的项目中,用户上传图片时为了减轻服务器压力,直接把图片上传到了阿里云存储中,同时还希望自己服务器保留用户的图片,就使用了wget定时从阿里云获取图片 随着用户上传图片量的增加,希望更快的下载图片,使用单线程的wget执行下载任务稍显不足,就想自己写一个多线程下载程序,这时发现了一个多线程版本的wget - mwget,马上安装试用
测试
云存储中有一个11M的图片,分别使用 wget 和 mwget 进行下载测试,各测试了5次,从平均结果看,mwget 的确更快,较wget快了3倍左右 初次测试结果很不错,后期会在不同时间点和对更多的文件进行下载测试,如果结果很稳定,会考虑在正式环境使用
安装
下面是安装过程,有兴趣的话可以试下 # wget http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2 # tar -xjvf mwget_0.1.0.orig.tar.bz2 # cd mwget_0.1.0.orig # ./configure # make # make install 安装 mwget 时可能会需要 xmlparser、gettext、intltool,我的系统为centos,执行下面的几个命令来安装 # yum install perl-XML-Parser # yum install gettext # yum install intltool