专栏首页图形化开放式生信分析系统开发图形化开放式生信分析系统开发 - 6 生信分析流程批量运行与过程控制
原创

图形化开放式生信分析系统开发 - 6 生信分析流程批量运行与过程控制

在上文生信分析系统开发 - 5 生信分析流程服务器端运行 解决了设计好的流程在分析服务器上运行的问题,随之而来就衍生出的新需求:

一、批量分析流程的运行顺序

流程输入文件是按照样本编号来匹配运行的,运行顺序就取决于样本信息

  1. 样本优先级:此处设计样本录入时候,输入优先级字段范围1-9,数字越大优先级越高
  2. 样本顺序:样本默认按照录入的时间先后排序,相同优先级的样本数据,按照录入先后顺序排序运行

二、分析流程的过程控制

  1. 强制停止:开始分析流程之后,可以在任意时间停止分析过程
  2. 错误恢复运行:分析流程运行错误,再次运行,可以选择从错误处恢复运行
  3. 调试恢复运行:分析结束,修改pipeline参数后,可以选择从任意一点开始重新分析(应用修改后的参数)
  4. 覆盖运行:分析错误或者正常结束后,重新从头开始运行整个分析流程,并覆盖之前的分析结果

技术实现:

一、批量样本分析流程的运行顺序:

依赖于样本的优先级和输入的顺序先后,每次从数据库取出未完成分析的样本列表,按照优先级从高到低,样本输入先后顺序排序。

每次列表中取最上面一个,去指定目录里匹配输入文件,如果输入文件符合匹配要求,立即启动pipeline,开始流程分析。同时更新该样本状态为正在分析,这样下次排序时候就不会重复获取该样本了。

其实就是一个带有优先级参数的先进先出的堆栈

二、分析流程的控制

前文描述了如何将设计好的pipeline运行于服务器,如果要监控整个运行过程,就需要创建一个守护线程,如果用户操作停止分析,这时候守护进程就要终止运行进程,然后报错并返回。

同时,这个守护线程,要负有和前端通信,统计每个分析任务的运行时间,检查分析任务输出是否符合要求等等。

实现效果图:

  • 样本优先级
  • 强制停止
  • 错误恢复运行
  • 调试恢复运行
  • 覆盖运行

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 图形化开放式生信分析系统开发 - 1 需求分析及技术实现V2(2020.7更新)

    从2017年前开始,工作的原因接触到了NGS(高通量测序技术 High-throughput sequencing又称“下一代”测序技术"Next-genera...

    SliverWorkspace
  • 图形化开放式生信分析系统开发 - 5 生信分析流程服务器端运行

    在上文图形化开放式生信分析系统开发 - 4 生信分析流程的图形化设计 讨论了生信分析pipeline的图形化,如何用图形的方式显示生信pipeline,但是pi...

    SliverWorkspace
  • 图形化开放式生信分析系统开发 - 1 需求分析及技术实现

    从三年前开始,工作的原因接触到了NGS(二代测序)技术和相关的生信分析,在公司技术到临床应用转化过程中遇到一系列问题,在问题中挣扎、解决问题的过程中逐渐有了开发...

    SliverWorkspace
  • gps同步时钟在航天210所的成功案例

    2019年初,第二研究院二一〇研究所在与我公司进行多次交谈后,确认gps同步时钟的基本功能后,根据其要求做出满足使用的gps同步时钟。在经过各种严格的测试环境后...

    用户4727644
  • Android项目实战(四十八):架构之组件化开发

    听着music睡
  • ananas RPC源码分析-在net库基础上使用protobuf实现rpc(二)

    第一篇文章也说到了,net库设计比较“干净”,在其基础上设计rpc框架比较方便。本节一起看下ananas怎样使用protobuf自带的rpc模板,在net库上完...

    路小饭
  • 你的pcr为什么定量不出来?

    最近有很多同学私聊小编说,刚进入实验室开始科研,但qPCR结果却总是不理想,实验一直停滞不前,非常的苦恼。记得我刚进实验室的时候,为了验证目标lncRNA在癌和...

    百味科研芝士
  • ntp网络校时服务器在安防系统的解决方案

    网络校时服务器是以校正终端设备时间的一款标准服务器,在市场中的因其标准协议NTP标准符合大多数包括计算机,摄像机,监控,工控机等设备的时间校正协议,使得其在目前...

    时频专家
  • ntp网络校时服务器在安防系统的解决方案

    网络校时服务器是以校正终端设备时间的一款标准服务器,在市场中的因其标准协议NTP标准符合大多数包括计算机,摄像机,监控,工控机等设备的时间校正协议,使得其在目前...

    时频专家
  • 微软并发Key-Value存储库FASTER介绍

    微软支持并发的Key-Value 存储库有C++与C#两个版本。号称迄今为止最快的并发键值存储。下面是C#版本翻译:

    梁规晓

扫码关注云+社区

领取腾讯云代金券