前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Aspera:基因组数据高速下载利器,以NCBI和EBI数据下载为例

Aspera:基因组数据高速下载利器,以NCBI和EBI数据下载为例

作者头像
简说基因
发布2020-11-19 16:40:16
2.8K0
发布2020-11-19 16:40:16
举报
文章被收录于专栏:简说基因简说基因

我们通常用wgetcurl下载文件,然而由于 NCBI 和 EBI 网站都在国外,有时候下载速度非常慢,如果文件特别大,就可能非常难受甚至是不可能完全的任务了,这时可用 aspera 进行高速下载。

安装 Aspera

首先进入aspera 官方网站,找到「IBM Aspera Connect」,进入下载页面,找到对应的版本与平台,这里以 Linux 平台最新的 3.10.0 版本为例进行介绍。

代码语言:javascript
复制
# 下载
wget https://ak-delivery04-mul.dhe.ibm.com/sar/CMA/OSA/092u0/0/ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.tar.gz

# 解压
tar xvf ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.tar.gz

# 解压后得到一个脚本文件,运行该脚本,即可完成自动安装
sh ibm-aspera-connect-3.10.0.180973-linux-g2.12-64.sh

# 所有安装文件都在~/.aspera/connect目录下,添加环境变量
echo 'export PATH=~/.aspera/connect/bin/:$PATH' >> ~/.bashrc

# 使环境变量生效
source ~/.bashrc

# 查看ascp可执行文件所在的路径,应该是:~/.aspera/connect/bin/ascp
which ascp

# 看程序是否能正常运行
ascp -h

高速下载

1. NCBI 数据下载

NCBI 中数据的下载链接通常为

代码语言:javascript
复制
https://ftp.ncbi.nlm.nih.gov/refseq/release/viral/viral.2.1.genomic.fna.gz

需要去除前面的域名,用如下命令下载,注意最后有一个点.,表示文件下载到当前目录并且保持原文件名

代码语言:javascript
复制
ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -k 1 -T anonftp@ftp.ncbi.nlm.nih.gov:/refseq/release/viral/viral.2.1.genomic.fna.gz .
2.EBI 数据下载

同理,从 EBI 网站下载千人基因组数据

代码语言:javascript
复制
ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -T -P33001 fasp-g1k@fasp.1000genomes.ebi.ac.uk:vol1/ftp/release/20100804/ALL.2of4intersection.20100804.genotypes.vcf.gz .
3.批量下载

先将要下载的文件的路径放入一个文件file.lst中,比如

代码语言:javascript
复制
/refseq/release/viral/viral.1.1.genomic.fna.gz
/refseq/release/viral/viral.2.1.genomic.fna.gz

然后使用命令

代码语言:javascript
复制
ascp -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 100M -T -k1 --mode recv --host ftp.ncbi.nlm.nih.gov --user anonftp --file-list file.lst .

「主要参数」

❝-i 免密从 NCBI 或 EBI 下载的私钥,安装完成就有,位于~/.aspera/connect/etc/asperaweb_id_dsa.openssh -l 最大下载速度,如 100M -k 断点续传,通常设为 1 -T 无需加密传输 --host 服务器域名,NCBI 为 ftp.ncbi.nlm.nih.gov,EBI 下载千人基因组为 fasp.1000genomes.ebi.ac.uk -P 用于 SSH 认证的 TCP 商品,一般是 33001 --user 用户名,NCBI 为 anonftp,EBI 下载千人基因组为 g1k --mode 传输模式,上传为 send,下载为 recv ❞

「参考」

Aspera 官网:https://www.ibm.com/products/aspera/downloads?list

Aspera 使用说明 1:https://www.ibm.com/support/pages/downloading-data-ncbi-command-line#usage

Aspera 使用说明 2:https://www.internationalgenome.org/faq/how-download-files-using-aspera

「如果你是初学者,可以看看我之前写的生信分析环境搭建教程」

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-09-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 简说基因 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 安装 Aspera
  • 高速下载
    • 1. NCBI 数据下载
      • 2.EBI 数据下载
        • 3.批量下载
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档