ascp（Aspera Command Line Transfer）是一种用于高速数据传输的命令行工具，由 Aspera 开发，用于在网络上传输大型数据集和文件。它专为大容量、高速度和安全性而设计，适用于远程文件传输，特别是在需要高效传输大量数据的情况下。
本来呢，如果作者提供了表达量矩阵是容易跟着我们的笔记做差异分析以及后续的生物学功能富集，各种各样的统计可视化。
依据大家上传数据的习惯，绝大多数生物信息学数据都是可以从NCBI上下载到，当然也可以通过DDBJ,EBI去下载。另外，部分科研人员也将数据传到github等其他平台。
所以还是得回到我们：最低仅需800，就有一个生信工程师为你服务！ ，虽然都是常规分析，各种ngs组学的上游分析流程都有：
于是安排学徒去到新格元的官方网站，有对这款试剂盒及其分析软件（celescope）的介绍，在github上有软件的使用说明及下载：https://github.com/singleron-RD/CeleScope
前面我布置了一系列学徒作业， 终于开始陆陆续续收到答案啦！下面的教程来自于7月的数据挖掘学员，对应的题目是：仅提供bam文件的RNA-seq项目重新分析
不过，最近几年我的教程都是conda和aspera高速下载啦，但即使是这样，仍然是很多人反馈下载失败，有一些是Linux命令不熟悉，自己把代码写错，有一些是数据库下载源的问题，部分数据缺失是数据库的责任，并不是你的错！还有一些是网络问题，甚至是玄学，比如前两天可以，今天就不可以，或者说前面奋战了两个星期都失败，但是今天却无缘无故下载成功了！
之所以选取这个模块，是因为这部分包含了scRNAseq的上游实验部分，掌握好这部分能够更好帮助我们了解scRNAseq的结果文件，进行下游分析
咱们《生信技能树》的B站有一个lncRNA数据分析实战，缺乏配套笔记，所以我们安排了100个lncRNA组装案例文献分享，以及这个流程会用到的100个软件的实战笔记教程！ 下面是100个lncRNA组装流程的软件的笔记教程 Aspera是IBM公司的一款高速传输软件，创造了新一代的传输技术(faspTM)，并能不受文件大小、形态、传输距离、网络条件限制，以最高效的速度来协助用户迁移各地的数据。使用 fasp传输专利技术，充分利用现有的 WAN 基础设施和通用硬件，传输速度比 FTP 和 HTTP 快达数百倍
》 很久以前分享了：10X单细胞转录组原始测序数据的Cell Ranger流程（仅需800元）以及一个10x单细胞转录组项目从fastq到细胞亚群，但是它缺乏NCBI的SRA数据库下载方式，因为ebi的ena数据库首先是不稳定，其次是部分单细胞数据集的样品在ena上面并不是R1,R2,I1的3个fastq文件形式。所以我们补充了"赵小明"的笔记：一文打通单细胞上游：从软件部署到上游分析，现在跟着这个笔记演示一下全部流程：
Aspera下载： http://downloads.asperasoft.com/connect2/。
但很多粉丝留言表示这些英文教程看不懂，数据也很分散，没有中文解说实在是很难跟下来，希望我们出一个手把手系列教程。
实际上你的关注本身就说明了问题，只不过呢你欠缺那临门一脚，人生很长，你的科研生涯可能还有35年之久，你现在学会数据处理，这个技能的掌握其实是最大化受益！现在，哪怕是全新细胞系模型的提出也需要ngs数据支持啦，比如文章：《Establishment and Characterization of a Brca1−/−**, p53**−/− Mouse Mammary Tumor Cell Line》
差不多几个小时就可以完成全部的样品的cellranger的定量流程，但是问题往往是出在下载上面。虽然有aspera下载加速措施，但是每次下载至少失败一半！
由于是EBI数据库，用wget下载速度太慢，Jimmy大神强烈建议用aspera工具下载，于是参考生信技能树教程代码，首先需要熟悉GEO和SRA数据库：
比如RNA-seq数据，上游就是fastq的质量控制，比对，定量，最后拿到表达矩阵。而下游就是表达矩阵的一系列统计学分析， 包括PCA,相关性热图，层次聚类图，差异分析，火山图，表达量热图，GO/KEGG数据库功能注释等等。
分享是一种态度 我所理解的cellranger软件理想原始输入数据就是SRA格式，然后利用sra-tools分为read、barcode+UMI、index三个fastq.gz文件。最后直接利用cel
CNS图表复现之旅前面我们已经进行了9讲，你可以点击图表复现话题回顾。如果你感兴趣也想加入交流群，自己去：你要的rmarkdown文献图表复现全套代码来了（单细胞）找到我们的拉群小助手哈。
第1选择--Aspera Connect 如果aspera connect不能下载，推荐sratoolkit的prefetch功能。尽量不要用wget或curl下载，速度慢，且有时下载不完全
NCBI的FTP下载链接：ftp://ftp.ncbi.nlm.nih.gov/sra/sra-instant/reads/ByRun/sra/SRR/SRR507/SRR5077625/SRR5077625.sra
这样的文件很明显没办法给我们跑单细胞转录组流程，看了看原文：《Single-cell RNA sequencing reveals B cell–related molecular biomarkers for Alzheimer’s disease》，其实在《单细胞天地》有它的介绍：单细胞测序揭示阿尔兹海默症的B细胞相关标志物
然后呢，我们《生信技能树》目前出NGS数据处理教程，通常是会建议大家在EBI下载，这样的话，速度有保障！
在我们发表高通量测序文章之前通常要上传测序数据到GEO数据库，现总结流程如下。 注册账户、填写MetaSheet 在NCBI GEO官网注册一个账号，然后登陆。 点击Submission Guidelines . 从中查找GEOarchive spreadsheet format，并下载Metadata spreadsheet, 通常是Download metadata spreadsheet (template and examples) UPDATED!，官方推荐下载最新版，这儿就提供链接了。 下载完
SRA Toolkit 是由美国国家生物技术信息中心（NCBI）提供的一组工具，专门用于处理 Sequence Read Archive（SRA）中存储的高通量测序数据。这个工具包包含了一系列命令行工具，用于检索、转换、处理和分析来自 SRA 的数据。其具有以下特性：
2.ncbi中SRA的ftp下载链接为： ftp://ftp.ncbi.nlm.nih.gov/sra/， SRA数据库的格式为：
19年开学的时候是打算自学，偶然间发现生信技能树，然后在b站上看了生信技能树的视频，基础不够，看了一部分R语言的相关视频就没有继续看下去了。我在天津上学，一开始还想等生信技能树来天津然后报线下课，由于这次疫情的我，有机会上了线上班。我是第五期学员，现在已经是上完课的状态，虽然自己上完课了依旧很菜，但是至少让我有勇气，有底气觉得自己有一点点入门的希望，有可以让自己继续学下去的勇气。也把如此好的课程推荐给大家，生信技能树官方举办的学习班：
研究者们做了棉花材料的表观测序，主要是比较最新的技术 cleavage under targets and tagmentation (CUT&Tag)和以前的 chromatin immunoprecipitation with sequencing (ChIP-seq) 技术，结论是 CUT&Tag技术实验流程更快，对peaks的分辨率更高，而且背景噪音更小。
由于课题需要下载single cell raw data 进行后续分析，但是NCBI SRA 文件分割后只有一个FASTQ文件，只能从ENA上下载BAM 文件，使用Cell ranger bamtofastq 转为fastq文件再进行比对。开启了慢慢长ERROR路
将ENA数据库上的aspera链接写入一个txt文件下以便下载脚本读取，下面我将以2个链接作为演示
我们通常用wget或curl下载文件，然而由于 NCBI 和 EBI 网站都在国外，有时候下载速度非常慢，如果文件特别大，就可能非常难受甚至是不可能完全的任务了，这时可用 aspera 进行高速下载。
理论知识学再好，能付诸实践灵活运用才行，所以我们常强调知行合一，实践出真知。实战演练这个栏目就是带大家从头到尾完整复现单细胞文献分析流程。好了，干货多，屁话少，我们来看实战流程。
上周最热信息莫过于“美国对中兴通信ZTE的出口禁令”，美国断了“芯”，企业丢了魂，每年营收超千亿、全球第四大的通信设备制造商（前三为华为、爱立信、阿尔卡特朗讯）在美国政府一纸禁令面前，瞬间要崩盘。
今天，在这里介绍一下为什么很多新的可靠传输协议（比如QUIC、KCP、Fasp、UDT）都是基于UDP协议的，它的技术原因在哪里？
需要注意的是：什么，SRA测序数据要收费了，同样的，需要熟悉GEO和SRA数据库编号规则：
Aspera是IBM公司的一款高速传输软件，创造了新一代的传输技术(faspTM)，不受文件大小、形态、传输距离、网络条件限制，以最高效的速度来协助用户迁移各地的数据。解决方案的核心是fasp传输专利技术，它是一项突破性传输协议，充分利用现有的WAN 基础设施和通用硬件，传输速度比FTP和 HTTP快达数百倍。
CellRanger ARC 是10x Genomics 专为单细胞多组学数据分析设计，同时分析单细胞RNA测序（scRNA-seq）和单细胞ATAC测序（scATAC-seq）数据的一组分析pipline 。
说明：有同学私信问到，为什么TCP在高时延和丢包的网络中传输效率差? Google可以搜到很多的信息，这里转译了部分IBM Aspera fasp技术白皮书的第一章节内容，作为参考。 在这个数字世界中
从GEO中选择示例数据：GSE181454。因为作者上传的10x输入文件比较古老（cellranger V2定量），我们重新运行该过程。
1000 Genome Project 的目标是发现在人群中频率大于1%的变异位点，对来自不同人群的大量样本进行测序，识别到了许多的变异位点，为人类遗传变异的研究提供了一个综合的资源。
本次学习分析的文章是这篇：https://academic.oup.com/gigascience/article/7/12/giy140/5202451 这篇文章的原始数据有点问题，使用sra和ena数据库直接下载都基本上会失败，sra只能下到一个10M左右的数据，转换格式成fastq后只能获得4.6M的数据。最后使用aspera connect下载可以成功。命令如下，我是黑果，其他系统格式应该类似，软件安装和使用参见我前面的学习记录。https://jiawen.zd200572.com/916.html
ENA主页：https://www.ebi.ac.uk/ena/browser/home
ATAC-seq或者ChIP-seq等表观测序数据，需要比对到参考基因组并且找其峰值（peaks）并且进行基因功能元件注释或者motif注释，我们仅仅是收取一个计算机资源的费用，800-1600元人民币（根据样品数量不同收费不一样）即可，并且提供全套代码。不管是公共数据集还是你自己的实验测序数据，一样的费用！我们会代替你跑如下所示的流程：
注：md5算法是不可逆的，所以经过md5加密过的字符串是无法还原（解密）的。一般用作登陆验证的时候，也是要先经过md5加密然后去数据库验证密码是否正确。
除了利用ascp命令从NCBI下载SRA文件外，SRAtoolkit也提供了prefetch命令用于下载SRA文件。
一般来说，NCBI数据库提供的prefetch命令下载sra文件速度太慢，可以参考：使用ebi数据库直接下载fastq测序数据 , 需要自行配置好，然后去EBI里面搜索到的 fq.txt 路径文件：
SRA(Sequence Read Archive) 与 ENA(European Nucleotide Archive) 数据库基本上保存了 90% 以上的测序原始数据。其中 SRA 数据库位于在美国，ENA 数据库在欧洲。所以，国内的研究人员想要从中下载数据，是一件棘手的事情。因此本文将介绍 3 种下载方式，让您免受数据下载之痛，赢在科研起跑线。
肿瘤或者家系的WES，WGS等DNA测序样品的fastq数据，需要比对到参考基因组并且找变异并且注释，我们仅仅是收取一个计算机资源的费用，800-8000元人民币（根据样品数量不同收费不一样）即可，并且提供全套代码。不管是公共数据集还是你自己的实验测序数据，一样的费用！我们会代替你跑如下所示的流程：
高通量的原始数据通常情况下会上传到NCBI的SRA（Sequence Read Archive）数据库。当我们需要用到这些数据的时候，就需要合适的方法来下载。
但是读者多了之后我接受到的大家的反馈就是从ncbi的sra数据库里面下载sra文件实在是太慢了，因为我做演示的服务器在境外，所以自己压根就没有意识到这点。但是陆陆续续有小伙伴告诉我应该是使用aspera从ebi的ena数据库直接下载fastq文件即可，高速而且还少了一个sra文件转为fastq的步骤。所以后来我也开始在日常更新的公众号里面推荐这个方法，就是参考：使用ebi数据库直接下载fastq测序数据 , 需要自行配置好，然后去EBI里面搜索到的 fq.txt 路径文件：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
