SRA高效数据传输—ASCP

生信菜鸟团

发布于 2023-12-06 18:44:09

3350

发布于 2023-12-06 18:44:09

工欲善其事必先利其器

1ASCP

ascp（Aspera Command Line Transfer）是一种用于高速数据传输的命令行工具，由 Aspera 开发，用于在网络上传输大型数据集和文件。它专为大容量、高速度和安全性而设计，适用于远程文件传输，特别是在需要高效传输大量数据的情况下。

主要特点和功能：

高速传输：ascp 利用 Aspera 的 FASP（Fast And Secure Protocol）技术，通过优化传输算法和并行传输，在不同网络条件下实现高速的数据传输，提供比传统传输方式更快的速度。
大容量文件传输：适用于传输大型数据集、高分辨率图像、基因组测序数据等大容量文件，具有优秀的性能和稳定性。
安全性：ascp 支持加密传输，通过安全的加密通道（SSH）确保数据传输过程中的安全性和隐私保护，防止数据泄露和篡改。
跨平台：ascp 工具可在多种操作系统上运行，包括 Windows、Linux 和 macOS 等主流操作系统。
命令行操作：ascp 通过命令行进行操作，提供了丰富的选项和参数，方便用户进行定制化的传输设置和管理。

官网：https://www.ibm.com/products/aspera/downloads?list

2安装Aspera

一般推荐使用Conda安装管理软件

conda install -c hcc aspera-cli -y
#检查ascp是否下载成功
ascp -h

3实例演示

从NCBI-SRA下载accession list，把SRA编号，通过vim写到SRA.list里

使用ascp下载需要密匙asperaweb_id_dsa.openssh，位置在:

#我的环境名称是chip，文件路径需要自行探索：
#miniconda3/envs/chip/etc/asperaweb_id_dsa.openssh

若SRR后为六位数，-i参数指定密匙，注意使用的密匙路径替换为自己的

#单端测序：
cat SRA.list|while read id
do
x=$(echo $id | cut -b1-6)
echo $id
ascp -QT -l 300m -P33001  -i \
$HOME/miniconda3/envs/chip/etc/asperaweb_id_dsa.openssh \
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/$x/$id/${id}.fastq.gz ./
done
#双端测序：
cat SRA.list|while read id
do
x=$(echo $id | cut -b1-6)
echo $id
ascp -QT -l 500m -P33001  -i \
$HOME/miniconda3/envs/rna/etc/asperaweb_id_dsa.openssh \
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/$x/$id/${id}_1.fastq.gz \
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/$x/$id/${id}_2.fastq.gz ./
done

若SRR后为七位数

#单端测序：
cat SRA.list|while read id
do
x=$(echo $id | cut -b1-6)
y=$(echo $id | cut -b10-10)
echo $id
ascp -QT -l 300m -P33001  -i \
$HOME/miniconda3/envs/chip/etc/asperaweb_id_dsa.openssh \
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/$x/00$y/$id/${id}.fastq.gz ./
done
#双端测序：
cat SRA.list|while read id
do
x=$(echo $id | cut -b1-6)
y=$(echo $id | cut -b10-10)
echo $id
ascp -QT -l 500m -P33001  -i \
$HOME/miniconda3/envs/rna/etc/asperaweb_id_dsa.openssh \
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/$x/00$y/$id/${id}_1.fastq.gz \
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/$x/00$y/$id/${id}_2.fastq.gz ./
done

若SRR后为八位数

#单端测序：
cat SRA.list|while read id
do
x=$(echo $id | cut -b1-6)
y=$(echo $id | cut -b10-11)
echo $id
ascp -QT -l 300m -P33001  -i \
$HOME/miniconda3/envs/chip/etc/asperaweb_id_dsa.openssh \
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/$x/0$y/$id/${id}.fastq.gz ./
done

#双端测序：
cat SRA.list|while read id
do
x=$(echo $id | cut -b1-6)
y=$(echo $id | cut -b10-11)
echo $id
ascp -QT -l 500m -P33001  -i \
$HOME/miniconda3/envs/rna/etc/asperaweb_id_dsa.openssh \
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/$x/0$y/$id/${id}_1.fastq.gz \
era-fasp@fasp.sra.ebi.ac.uk:/vol1/fastq/$x/0$y/$id/${id}_2.fastq.gz ./
done