SRA数据库官方工具—SRA Toolkit

## 注意软件名也不是prefetch
conda install -y sra-tools

## conda install -c daler sratoolkit

## 下载二进制安装
wget -c https://ftp-trace.ncbi.nlm.nih.gov/sra/sdk/3.0.7/sratoolkit.3.0.7-ubuntu64.tar.gz
tar -xf sratoolkit.3.0.2-ubuntu64.tar.gz

## 添加到环境变量
echo 'export PATH=/home/username/software/sratoolkit.3.0.7-ubuntu64/bin:$PATH ' >> ~/.bashrc 

##下载数据
prefetch SRR000001 
##提交后台下载（example）
nohup prefetch -O ~/project/b_rawdata SRR24304118 --max-size 50G  1>prefetch.log 2>&1 & 

##转换sra文件为fastq
fasterq-dump SRR000001
##提交后台转换（example）
nohup fasterq-dump -O ~/project/b_rawdata/SRR24304118/ --split-files -e 8 --include-technical SRR24304118.sra 1>dump.log 2>&1 &

## example
### sra文件
9.1G 12月  4 17:42 SRR19904954.sra

##转换为 fastq 文件后
79G 12月  4 23:57 SRR19904954.fastq

prefetch 可选参数

--max-size 设置最大下载文件大小，默认所20G
--max-size u 设置为u,则下载大小不设限制
-T：指定要下载的文件类型，默认为 sra
-t：指定传输方式，默认是both ;可以选择 http（传统的HTTP下载）、fasp（高速传输协议） 或 both（优先尝试fasp，如果无法使用fasp则使用http）。其中，fasp 使用 aspera connect（ascp）进行快速传输
-f：强制对象下载的选项，可以选择 no、yes、all 或 ALL ，(默认为no); 
 no：跳过已存在的对象；
 yes:即使已存在也强制下载 
-r：是否允许断点续传，可以选择 yes 或 no（默认为 yes）
-C：下载后验证文件的完整性，可以选择 yes 或 no（默认为yes）
-a：指定 ascp 程序和私钥文件的路径
--ascp-options <value>：传递给 ascp 命令行的任意选项
-o：指定输出文件的名称
-O：指定输出目录


fasterq-dump 可选参数
-F：指定输出格式。默认为FASTQ。可以选择特殊格式（special）或FASTQ格式
-f：强制覆盖现有文件
-o：指定输出文件的名称
-O：指定输出目录
-t：指定临时文件的位置，默认为当前目录。
-e：指定线程数量，默认为6个线程。
-p：显示进度。
-x：打印详细信息。
-s|--split-spot：见上文
-S|--split-files：见上文
-3|--split-3：见上文
--include-technical：包含技术性reads（如果不加这个参数是不会分解出来index和barcode文件）
--fasta：生成FASTA格式的输出
--fasta-unsorted：生成未排序的FASTA输出。


fastq-dump 可选参数

-O：指定输出位置
-Q：质量转换偏移量，默认为33
--gzip：使用gzip压缩输出
--bzip2：使用bzip2压缩输出
--split-spot: 见上文
--split-files: 见上文
--split-3    : 见上文
--skip-technical：多标签序列，如果你原来建库测序使用了多个标签来区分序列, 默认不会输出这个标签。但是如果不输出标签,我们怎么区分呢? 所以一定要显示声明
--fasta：指定解压成fasta格式，默认是fastq格式

##下载
prefetch SRR19904954 --max-size u
#下载耗时(m:ss)：24:03.53

##转换sra文件为fastq

fasterq-dump -S SRR19904954/SRR19904954.sra -O ./fasterq_out/
#faster-dump转换耗时(m:ss)：4:42.89

##设定多线程转换
fasterq-dump -O ~/project/b_rawdata/SRR24304118/ --split-files -e 8 --include-technical SRR24304118.sra 

##旧版本，速度很慢
fastq-dump  --split-files SRR19904954/SRR19904954.sra
#fastq-dump转换耗时(m:ss)：20:02.63

##转换同时采用gzip压缩输出
fastq-dump --gzip --split-files -O ./gz_out/ ./SRR19904954/SRR19904954.sra
##耗时(h:mm:ss): 2:23:06

## 直接下载fastq
###查询 SRR 预存路径
srapath SRR19904954
# https://sra-download.ncbi.nlm.nih.gov/srapub/SRR000001

fasterq-dump -S SRR19904954
##或者
fastq-dump --split-files  SRR19904954

#方法一：
##首先要创建一个SRR号的列表文件，也可以直接下载
$cat srr_acc_list.txt 
SRR11182006
SRR11182007
SRR11182008
SRR11182009
SRR11182010
SRR11182011
SRR11182012
##批量循环下载
prefetch -O /home/project/b_rawdate4 --option-file /home/project/b_rawdate4/srr_acc_list.txt --max-size u 1>down.log 2>&1

##批量后台循环下载（因为下载时间比较久，建议放后台下载）
nohup prefetch -O /home/project/b_rawdate4 --option-file /home/project/b_rawdate4/srr_acc_list.txt --max-size u 1>down.log 2>&1 &

##方法二：并行下载
cat srr.list |while read id;do ( nohup prefetch  --max-size u $id & );done

##循环转换
ls SRR*/*sra|while read id ; do (fasterq-dump -O /home/sc_learn/b_rawdata/ --split-files -e 8 --include-technical ${id} );done