如果你的服务器在中国大陆,基本上就放弃prefetch啦,直接aspera即可。但是如果是在海外,就可以尝试比较prefetch和aspera下载速度。
需要注意的是:什么,SRA测序数据要收费了,同样的,需要熟悉GEO和SRA数据库编号规则:
获得文献里面的数据集里面的样本的数据库里面的ID列表,但是ncbi的sratoolkit有可能不好用,比如prefetch命令下载sra文件速度太慢,可以参考:使用ebi数据库直接下载fastq测序数据 , 需要自行配置好aspera从ebi下载的软件环境,然后去EBI里面搜索到的 fq.txt 路径文件:
其中prefetch属于 sra-tools,而aspera属于aspera-cli,都是需要先搜索它们拿到官方下载方式,我已经给大家找好了,如下:
# wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# bash Miniconda3-latest-Linux-x86_64.sh
# echo $SHELL
conda create -y -n download
conda activate download
conda install -y -c hcc aspera-cli
conda install -y -c bioconda sra-tools
which ascp
## 一定要搞清楚你的软件被conda安装在哪
ls -lh ~/miniconda3/etc/asperaweb_id_dsa.openssh
我们已经多次介绍过conda细节了,这里就不再赘述。
我们直接在 https://www.ebi.ac.uk/ena/browser/view/PRJEB33490 找到第一个样本的数据来进行测试,全部的代码如下:
首先看看wget的速度:
wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR344/007/ERR3445007/ERR3445007_1.fastq.gz
因为这个数据太小了,所以我们的服务器的网速体现不出来,其实正常情况下都是100M/s的!
然后测试prefetch命令:
prefetch ERR3445007
速度也是太快了,我根本就反应不过来:
最后是aspera,
id=fasp.sra.ebi.ac.uk:/vol1/fastq/ERR344/007/ERR3445007/ERR3445007_1.fastq.gz
ascp -QT -l 300m -P33001 \
-i ~/miniconda3/envs/download/etc/asperaweb_id_dsa.openssh \
era-fasp@$id .
也是数据量太小了 ,根本就体现不出来我们的服务器的网络优势,唉,高手寂寞啊!
测试了另外的数据集,发现速度是接近200Mb/s,一般般啦!