批量处理数据的技巧 从零到壹:10元转录组分析

效率

一个一个地处理数据,想想都好麻烦~批量处理才能感受到科技的力量~

处理大样本数据可能遇到的问题

首先,你可以复习下面的教程这样你会得到一个linux系统的云服务器然后,你搜索文献发现有个大牛发了一篇文章里面有几百里样本的RNA-seq原始数据,这个数据被共享在了SRA数据库中,老板说,去挖一下看看。你的内心世界,可能是"哈哈,刚刚学会下载mapping+分析,正好配上用场,而且按照Chris小站教程才10元还不贵,珂珂,撸起袖子~~~"然后,结果是"你妹啊~ 200多例一个一个下,一个一个解压,一个一个mapping这得啥时候弄完啊!!!"半个月过去了,进度才三分之一~~~~"你妹啊~云服务器硬盘不够用了~~~"

解决上面的问题

测序数据挖掘的步骤大致为解决硬盘不够用的问题:按照以下教程下面是解决办法:初级版用以下符号命令a&&命令b这样运行完命令a之后就会运行命令b,但是如果a出现错误,b是无法接着运行的。命令a|命令b

这样代表同时运行命令a和命令b,任何一个出错不会影响其他。但是要估量自己服务器能力,比如同时mapping两个样本,服务器一定会提示“已杀死”这样一些简单操作就可以连续运行了,比如cp(拷贝),mv(移动),gzip(解压),SRA tools等等。对于懂shell编程的大神们上面的问题都是小case,所以大神请飘过~~对于我们这些跨行初学者来说,下面尽量用能粗浅的话解释简单说一下咋用在linux系统中你可以用for循环连续数数,比如从1到10具体命令如下for i in ; do echo $i; done

这样在你会得到

1 2 3 4 。。。9 10

如果你要下载、解压或者Mapping的文件名字后面只有数字在变

,那么我们就可以利用这个语句来实现批量处理。例如下载可以用下面的命令

for i in ;do ascp -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T anonftp@ftp-private.ncbi.nlm.nih.gov:/sra/sra-instant/reads/ByRun/sra/SRR/SRR100/SRR1001"$i"/SRR1001"$i".sra /mydata;done

这样你可以顺序从SRR100127.sra一直下载到SRR100150.sra,并且保存在/mydata文件夹中。例如解压可以用下面的命令

for i in ;do fastq-dump --split-3 -A SRR1001"$i".sra --gzip;done

好吧,Mapping自己猜一下,就不告诉你~~~~

如果数字不连续怎么搞用下面的命令1 2 3 4 5 6 7 8 9 10 15 16 17 18 111大家应该看懂了吧。然后,自己领悟一下,就知道了~~~~你也可以吧&& 和| 与for循环结合起来,这样还能组合出来很多技巧。

你需要注意的问题

首先,由于是批量操作,要计算好硬盘空间,不够了要记得扩容哦,扩容教程在下面其次,由于是批量操作,千万别总去尝试同时进行Mapping | Mapping,否则服务器会经常自杀。最后,你可能会注意到终端操作的问题,就是操作掉线,然后之前执行的进程就被关掉了。这个可以解决,不过是在下一次的教程中,大家关注哦。

没错封面还是跟Apple有关,虽然Apple不再给人惊艳的产品,不再试图改变某个领域,但Think Different的精神犹存。最近在看《Becoming Steve Jobs》这本书,理解了为啥皮克斯讲故事都是那个套路,正如乔布斯一生一样,人生的G点往往不在成功的那一刻,而是反败为胜的转折。下面的链接是我youku中上传的乔布斯重回Apple的珍贵视频,分享给大家

乔布斯回归http://v.youku.com/v_show/id_XMzUwMTUyMjM2.html?spm=a2hzp.8253869.0.0

谢谢支持

下面这个是自学群

记住关注哦

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180301G0EQUC00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券