下载文件一定要md5校验一下

因为要使用STAR-fusion软件,其GitHub主页里面提到了配置好的数据库文件,我就想直接下载,如下:

├── [ 26G]  GRCh37_gencode_v19_CTAT_lib_Nov012017.plug-n-play.tar.gz
├── [ 20G]  GRCh38_gencode_v26_CTAT_lib_Nov012017.plug-n-play.tar.gz
├── [ 21G]  Mouse_M15_CTAT_lib_Nov012017.plug-n-play.tar.gz

看起来大小差不多,我以为下载完毕,结构解压的时候发现

tar xxvf Mouse_M15_CTAT_lib_Nov012017.plug-n-play.tar.gz
Mouse_M15_CTAT_lib_Nov012017/
Mouse_M15_CTAT_lib_Nov012017/ctat_genome_lib_build_dir/
Mouse_M15_CTAT_lib_Nov012017/ctat_genome_lib_build_dir/ref_genome.fa
Mouse_M15_CTAT_lib_Nov012017/ctat_genome_lib_build_dir/pfam_domains.dbm 

gzip: stdin: unexpected end of file
tar: Unexpected EOF in archive
tar: Unexpected EOF in archive
tar: Error is not recoverable: exiting now

这个时候才想到去下载日志里面看看,原来是下载失败了。

22023800K .......... .......... .......... .......... .......... 88% 17.2K 5h5m
22023850K .......... .......... ..                               88%  126K=9m26s

2018-01-07 23:41:09 (157 KB/s) - Connection closed at byte 22552444928. Retrying.

--2018-01-07 23:41:19--  (try:12)  https://data.broadinstitute.org/Trinity/CTAT_RESOURCE_LIB/Mouse_M15_CTAT_lib_Nov012017.plug-n-play.tar.gz
Connecting to data.broadinstitute.org|69.173.92.29|:443... connected.
HTTP request sent, awaiting response... 404 Not Found
2018-01-07 23:41:38 ERROR 404: Not Found.

所以我检查了md5确认了一下,然后断点续下。

wget -c https://data.broadinstitute.org/Trinity/CTAT_RESOURCE_LIB/Mouse_M15_CTAT_lib_Nov012017.plug-n-play.tar.gz
--2018-01-09 10:58:23--  https://data.broadinstitute.org/Trinity/CTAT_RESOURCE_LIB/Mouse_M15_CTAT_lib_Nov012017.plug-n-play.tar.gz
Resolving data.broadinstitute.org... 69.173.92.29
Connecting to data.broadinstitute.org|69.173.92.29|:443... connected.
HTTP request sent, awaiting response... 206 Partial Content
Length: 25502123410 (24G), 2949678482 (2.7G) remaining [application/x-gzip]
Saving to: “Mouse_M15_CTAT_lib_Nov012017.plug-n-play.tar.gz”

88% [+++++++++++++++++++++++++++

虽然解决问题了,但是因为当初没有进行md5校验,导致后来的流程报错,浪费了几天时间。

原文发布于微信公众号 - 生信技能树(biotrainee)

原文发表时间:2018-09-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Spring相关

springBoot上传文件时MultipartFile报空问题解决方法

之前用spring MVC,转成spring boot之后发现上传不能用。网上参考说是spring boot已经有CommonsMultipartResolve...

1731
来自专栏杨建荣的学习笔记

内核参数导致的备库宕机分析 (一)r7笔记第23天

在前几天搭建好备库之后,因为同步文件着实花了些时间,首先配置备库能够正常接收归档,然后内核参数也基本没有设置,简单使用脚本算出一个 Hugepage的值,就直接...

3697
来自专栏服务端技术杂谈

优雅的实现拦截器及统一异常处理

面向所有Controller的方法做拦截,获取Cookie信息 @Aspect@Componentpublic class HomeworkAuthorizeA...

3076
来自专栏一个会写诗的程序员的博客

《Spring Boot极简教程》第8_章: Spring Boot集成Groovy混合Java开发第8_章: Spring Boot集成Groovy混合Java开发小结

本章我们使用SpringBoot集成Groovy混合Java开发一个极简的RestAPI。 数据库使用mysql,ORM层使用mybatis,模板引擎使用fre...

712
来自专栏技术翻译

在Spring Boot和Gradle项目中设置微服务架构的基础知识

微服务,也被称为微服务架构,是一种建筑风格,结构的应用程序的松散耦合的服务,实现业务功能的集合。微服务架构支持大型复杂应用程序的持续交付/部署,并允许组织发展其...

2760
来自专栏我是攻城师

请小心Hadoop2.5.0和Java Web项目集成bug

3323
来自专栏小樱的经验随笔

php实现文件上传

存档: upload1.html(单文件上传) 1 <html> 2 <head> 3 <title>单个文件上传</title>...

7386
来自专栏闵开慧

hive.metastore.HiveMetaStoreClient​

14/04/07 15:33:21 INFO hive.metastore: Waiting 1 seconds before next connection ...

3238
来自专栏IT笔记

SpringBoot2.x开发案例之整合Quartz任务管理系统

基于spring-boot 2.x + quartz 的CRUD任务管理系统,适用于中小项目。 基于spring-boot +quartz 的CRUD任务管理系...

1.1K7
来自专栏SAP最佳业务实践

SAP最佳业务实践:SD–带变式价格的销售报价(663)-1业务概览

用途 Quotation processing is the first stage of this business process. In this s...

3734

扫码关注云+社区

领取腾讯云代金券