前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >在美帝的服务器的prefetch和aspera下载比较

在美帝的服务器的prefetch和aspera下载比较

作者头像
生信技能树
发布2020-08-11 15:28:25
2.6K0
发布2020-08-11 15:28:25
举报
文章被收录于专栏:生信技能树

如果你的服务器在中国大陆,基本上就放弃prefetch啦,直接aspera即可。但是如果是在海外,就可以尝试比较prefetch和aspera下载速度。

需要注意的是:什么,SRA测序数据要收费了,同样的,需要熟悉GEO和SRA数据库编号规则:

获得文献里面的数据集里面的样本的数据库里面的ID列表,但是ncbi的sratoolkit有可能不好用,比如prefetch命令下载sra文件速度太慢,可以参考:使用ebi数据库直接下载fastq测序数据 , 需要自行配置好aspera从ebi下载的软件环境,然后去EBI里面搜索到的 fq.txt 路径文件:

  • 比如一个文章的测序数据项目地址是:https://www.ebi.ac.uk/ena/browser/view/PRJEB33490

可以使用conda安装aspera和prefetch

其中prefetch属于 sra-tools,而aspera属于aspera-cli,都是需要先搜索它们拿到官方下载方式,我已经给大家找好了,如下:

代码语言:javascript
复制
# wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# bash Miniconda3-latest-Linux-x86_64.sh  
# echo $SHELL
conda create -y  -n download 
conda activate download 
conda install -y -c hcc aspera-cli
conda install -y -c bioconda sra-tools
which ascp 
## 一定要搞清楚你的软件被conda安装在哪
ls -lh ~/miniconda3/etc/asperaweb_id_dsa.openssh

我们已经多次介绍过conda细节了,这里就不再赘述。

开始测试

我们直接在 https://www.ebi.ac.uk/ena/browser/view/PRJEB33490 找到第一个样本的数据来进行测试,全部的代码如下:

首先看看wget的速度:

代码语言:javascript
复制
wget ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR344/007/ERR3445007/ERR3445007_1.fastq.gz

因为这个数据太小了,所以我们的服务器的网速体现不出来,其实正常情况下都是100M/s的!

然后测试prefetch命令:

代码语言:javascript
复制
prefetch ERR3445007

速度也是太快了,我根本就反应不过来:

最后是aspera,

代码语言:javascript
复制
id=fasp.sra.ebi.ac.uk:/vol1/fastq/ERR344/007/ERR3445007/ERR3445007_1.fastq.gz
ascp -QT -l 300m -P33001  \
-i ~/miniconda3/envs/download/etc/asperaweb_id_dsa.openssh   \
era-fasp@$id  .

也是数据量太小了 ,根本就体现不出来我们的服务器的网络优势,唉,高手寂寞啊!

测试了另外的数据集,发现速度是接近200Mb/s,一般般啦!

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-08-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 生信技能树 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 可以使用conda安装aspera和prefetch
  • 开始测试
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档