前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >什么!!!超70G的NT数据库文件一个小时搞定?

什么!!!超70G的NT数据库文件一个小时搞定?

作者头像
生信技能树
发布2020-07-02 14:50:25
4.8K0
发布2020-07-02 14:50:25
举报
文章被收录于专栏:生信技能树生信技能树

还省掉了几百块钱的会员费!!!

最近有粉丝求助,说自己已经耗费十多天了还没有把一个NT数据库下载下来,不得已充值会员费希望可以加速,但是效果也很惨淡,如下图:

需要从 https://ftp.ncbi.nih.gov/blast/db/FASTA/ 下载核酸数据库nt.gz和nr.gz文件;这两个文件大的如此吓人(nr.gz:75G;nt.gz:72G)。用wget命令龟速(56.00K 7.03KB/s 剩余 124d),使用迅雷也就白天300KB/s晚上2MB。

我直接甩给他一个关键词:aspera

学员表示非常诧异,的确以前看到过我的教程,见:使用ebi数据库直接下载fastq测序数据 , 首先使用conda安装aspera

代码语言:javascript
复制
conda create -n download 
conda activate download 
conda install -y -c hcc aspera-cli
conda install -y -c bioconda sra-tools
which ascp 
## 一定要搞清楚你的软件被conda安装在哪
ls -lh ~/miniconda3/etc/asperaweb_id_dsa.openssh

我们已经多次介绍过conda细节了,这里就不再赘述。

然后就可以使用conda配置好的aspera软件进行高速下载,但是这个教程不是仅限于ebi的测序数据吗?

然后学员半信半疑的尝试拼接出来了下面的命令:

代码语言:javascript
复制
ascp -v -k 1 -T -l 200m -i ~/miniconda2/envs/rna/etc/asperaweb_id_dsa.openssh https://ftp.ncbi.nih.gov/blast/db/FASTA/nr.gz .

然后果然报错,如下:

代码语言:javascript
复制
ascp: no remote host specified
Startup failed, exit

我非常尴尬,首先学员没有认真看教程,没有扩展思维,其次,没有理解aspera下载是需要特殊的链接的,就又苦口婆心的语音指导了,成功写成下载链接如下:

代码语言:javascript
复制
# 安装完成后可以使用ascp --help查看帮助,Aspera需要私钥asperaweb_id_dsa.openssh
# 由于我使用conda安装的所以在~/miniconda2/envs/rna/etc中。
# 在/media/yang/data/nt目录下下载nt.gz
ascp -v -k 1 -T -l 200m -i ~/miniconda2/envs/rna/etc/asperaweb_id_dsa.openssh anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/FASTA/nt.gz ./
# 然后在/media/yang/data/nt目录下下载nr.gz
ascp -v -k 1 -T -l 200m -i ~/miniconda2/envs/rna/etc/asperaweb_id_dsa.openssh anonftp@ftp.ncbi.nlm.nih.gov:/blast/db/FASTA/nr.gz ./

下载速度令人激动:

这才是:生命如此美好!

如果你学习生信也需要帮助,可以考虑我们生信技能树官方举办的学习班哈!

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-06-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 生信技能树 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档