下载GEO数据太慢？快用axel

生信技能树

发布于 2020-02-24 11:43:02

5K0

发布于 2020-02-24 11:43:02

文章被收录于专栏：生信技能树

以下笔记分享来自于2019-11月学徒，其实去年也分享过一个类似的下载神器：GEO和GitHub下载神器

因为国内需要下载GEO芯片原始数据，但是下载速度真的感人，只有几k。老是找海外的朋友又觉得不好意思，所以就看看github大神有没有什么办法，果然找到了！！！

Axel

Axel 是 CLI (command-line interface) 下的一个多线程下载工具，通常我都用它取代 wget 下载各类文件，适用于 Linux 及 BSD 等 UNIX 类平台。在Ubuntu 上安装 axel 命令是：sudo apt-get install axel

github简介是

Axel tries to accelerate the download process by using multiple connections per file, and can also balance the load between different servers.
Axel tries to be as light as possible, so it might be useful on byte-critical systems.
Axel supports HTTP, HTTPS, FTP and FTPS protocols.
Thanks to the original developer of Axel, Wilmer van der Gaast, and everyone else who has contributed to it.

基本主流方式都支持了！！！

安装axel

mac安装特别方便，只需要用homebrew就好

####安装brew
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
###安装axel
brew install axel

至于Windows，大家自行搜索哦。

然后下面的参数，我简单罗列处理，我的命令如下：

axel -n 20 ftp://ftp.ncbi.nlm.nih.gov/geo/series/GSE12nnn/GSE12452/suppl/GSE12452_RAW.tar
###这里我只指定了连接数，还可以指定最大下载速度等等
#--max-speed=x        -s x    Specify maximum speed (bytes per second)
#--num-connections=x    -n x    Specify maximum number of connections
#--max-redirect=x        Specify maximum number of redirections
#--output=f        -o f    Specify local output file
#--search[=n]        -S[n]   Search for mirrors and download from n servers
#--ipv4            -4  Use the IPv4 protocol
#--ipv6            -6  Use the IPv6 protocol
#--header=x        -H x    Add HTTP header string
#--user-agent=x        -U x    Set user agent
#--no-proxy        -N  Just don't use any proxy server
#--insecure        -k  Don't verify the SSL certificate
#--no-clobber        -c  Skip download if file already exists
#--quiet            -q  Leave stdout alone
#--verbose        -v  More status information
#--alternate        -a  Alternate progress indicator
#--help            -h  This information
#--timeout=x        -T x    Set I/O and connection timeout
#--version        -V  Version information

image-20200214234833005

速度真的很不错！！！2分43s下完

image-20200215000822209

另一个数据集

axel -n 20 ftp://ftp.ncbi.nlm.nih.gov/geo/series/GSE13nnn/GSE13597/suppl/GSE13597_RAW.tar

image-20200215000924019

其实也可以写脚本循环下载，我就2个数据集，就这样吧。

有一点不满意，会在99%卡一会。。搞不懂为什么。

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2020-02-19，如有侵权请联系 cloudcommunity@tencent.com 删除

github

本文分享自生信技能树微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度