专栏首页生信修炼手册GATK官方推荐的workflow语言-WDL

GATK官方推荐的workflow语言-WDL

GATK4best practice中,不再像以前那样给出每个步骤对应的代码,而是直接给出了官方使用的pipeline。这些pipeline采用WDL进行编写。

WDL是一种流程编写语言,没有太多复杂的逻辑和语法,入门简单。首先看一个hello world的例子

workflow myWorkflow {
   call myTask
}
task myTask {
   command {
       echo "hello world"
   }
   output {
       String out = read_string(stdout())
   }
}

对于一个WDL脚本而言,有以下5个核心结构

  1. workflow
  2. task
  3. call
  4. command
  5. output

每个脚本包含1个workflowworkflow由多个task构成。 在workflow中,通过call调用对应的task。每个taskworkflow代码块之外单独定义。

task代表任务,读取输入文件,执行相应命令,然后输出。command中对应的就是执行的命令,比如一条具体的gatk的命令,output 指定task的输出值。可以将task理解为编程语言中的函数,每个函数读取输入的参数,执行代码,然后返回,command对应执行的具体代码,output对应返回值。

WDL中,也是可以传递参数的。taskworkflow中的写法不同

1. task 中的参数

下面的示意图中,task 有3个输入的参数,文件类型的refin 和字符串类型的id。 在command中,通过${ref}这种格式访问变量的值

2. workflow 中的参数

下面的示意图中, workflow 有3个参数,文件类型的my_refmy_input 和字符串类型的name。传递这3个参数给task时,直接传变量名就可以了。

作为流程管理语言,需要对多个task统一管理。task之间具有多种关系

1. 一对一的依赖关系

前一个task的输出,作为后一个task的输入

示例如下

workflow LinearChain {
 File firstInput
 call stepA { input: in=firstInput }
 call stepB { input: in=stepA.out }
 call stepC { input: in=stepB.out }
}
task stepA {
 File in
 command { programA I=${in} O=outputA.ext }
 output { File out = "outputA.ext" }
}
task stepB {
 File in
 command { programB I=${in} O=outputB.ext }
 output { File out = "outputB.ext" }
}
task stepC {
 File in
 command { programC I=${in} O=outputC.ext }
 output { File out = "outputC.ext" }
}

一个task的多个输出作为下一个task的输入

示例如下:

workflow MultiOutMultiIn {
 File firstInput
 call stepA { input: in=firstInput }
 call stepB { input: in=stepA.out }
 call stepC { input: in1=stepB.out1, in2=stepB.out2 }
}
task stepA {
 File in
 command { programA I=${in} O=outputA.ext }
 output { File out = "outputA.ext" }
}
task stepB {
 File in
 command { programB I=${in} O1=outputB1.ext O2=outputB2.ext }
 output {
   File out1 = "outputB1.ext"
   File out2 = "outputB2.ext" }
}
task stepC {
 File in1
 File in2
 command { programB I1=${in1} I2=${in2} O=outputC.ext }
 output { File out = "outputC.ext" }
}

2. 多对多的依赖关系

一个task的输出作为多个task的输入,或者多个task的输出作为1个task的输入

示例如下:

workflow BranchAndMerge {
 File firstInput
 call stepA { input: in=firstInput }
 call stepB { input: in=stepA.out }
 call stepC { input: in=stepA.out }
 call stepD { input: in1=stepC.out, in2=stepB.out }
}
task stepA {
 File in
 command { programA I=${in} O=outputA.ext }
 output { File out = "outputA.ext" }
}
task stepB {
 File in
 command { programB I=${in} O=outputB.ext }
 output { File out = "outputB.ext" }
}
task stepC {
 File in
 command { programC I=${in} O=outputC.ext }
 output { File out = "outputC.ext" }
}
task stepD {
 File in1
 File in2
 command { programD I1=${in1} I2=${in2} O=outputD.ext }
 output { File out = "outputD.ext" }
}

3. 平行关系

多个task之间完全平行,可以并行执行

示例如下:

workflow ScatterGather {
 Array[File] inputFiles
 scatter (oneFile in inputFiles) {
   call stepA { input: in=oneFile }
 }
 call stepB { input: files=stepA.out }
}
task stepA {
 File in
 command { programA I=${in} O=outputA.ext }
 output { File out = "outputA.ext" }
}
task stepB {
 Array[File] files
 command { programB I=${files} O=outputB.ext }
 output { File out = "outputB.ext" }
}

task和函数还是有一定的区别,函数可以在代码中多次调用,但是task多次调用会有风险。下面的示意图中,stepA 运行两次,一次作为stepB的输入,一次作为stepC的输入。如果stepA的两次调用并行执行,当执行完之后,在传递给下一个task时,由于存在两个同名的stepA, stepB和stepC 就会无法正确接受参数。

WDL中提供了解决方案,叫做task alias, 为task起一个别名,示例如下

workflow taskAlias {
 File firstInput
 File secondInput
 call stepA as firstSample { input: in=firstInput }
 call stepA as secondSample { input: in=secondInput }
 call stepB { input: in=firstSample.out }
 call stepC { input: in=secondSample.out }
}
task stepA {
 File in
 command { programA I=${in} O=outputA.ext }
 output { File out = "outputA.ext" }
}
task stepB {
 File in
 command { programB I=${in} O=outputB.ext }
 output { File out = "outputB.ext" }
}
task stepC {
 File in
 command { programC I=${in} O=outputC.ext }
 output { File out = "outputC.ext" }
}

在WDL脚本中, 理论上每个task 只可以调用1次,如果希望多次调用,必须借助task alias

掌握以上几点,就可以理解一个wdl脚本的整体框架了。在实际使用中,我们只要能理解整个workflow的流向,会使用wdl脚本就可以了。 运行wdl脚本,需要两个文件

  1. cromwell.jar
  2. womtools.jar

最新版的下载链接如下:

https://github.com/broadinstitute/cromwell/releases/tag/31

第一步是得到输入参数的列表,用法如下

java -jar womtools.jar inputs myWorkflow.wdl > myWorkflow_inputs.json

json格式存存储,这一步得到的只是一个模板,需要编辑这个文件,将对应的参数替换成实际的参数 第二步运行脚本,用法如下

java -jar Cromwell.jar run myWorkflow.wdl —inputs myWorkflow_inputs.json

总结

  1. WDL是一种流程管理语言,语法简单,内置的支持并行等特征,适合编写pipeline
  2. 运行wdl脚本只需两步,第一步编辑参数列表对应的json文件,第二步直接运行即可。

本文分享自微信公众号 - 生信修炼手册(shengxinxiulian),作者:庐州月光

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 1000 Genome Project

    1000 Genome Project 的目标是发现在人群中频率大于1%的变异位点,对来自不同人群的大量样本进行测序,识别到了许多的变异位点,为人类遗传变异的研...

    生信修炼手册
  • circos 可视化手册- images 篇

    image这个block是circos内置的block之一,其配置文件为软件安装目录下的etc/image.conf。内容为

    生信修炼手册
  • miRanda和mirSVR:预测miRNA结合位点的工具

    预测miRNA结合位点的工具很多,以TargetScan为代表的工具,利用结合位点的保守性进行预测,对于大部分保守的结合位点而言其准确性较好,然而还是有部分mi...

    生信修炼手册
  • xcode编译报错unknown error -1=ffffffffffffffff Command /bin/sh failed with exit code 1

    升级完xcode9.1之后,编译项目出现如下错误: CI今日构建时报出如下错误: /Users/xxx/Library/Developer/Xcode/Deri...

    Java中文社群_老王
  • File 类目录详解

    编写一个程序,在命令行中以树状结构展现特定的文件夹及其子文件(夹),利用 File 类和递归知识,实现树状结构的展示,代码如下:

    帅飞
  • 腾讯云服务器完美搬家步骤教程

    https://cloud.tencent.com/redirect.php?redirect=1040&cps_key=7ec43b056bd01cf6def...

    用户5803396
  • 腾讯云文字识别使用笔记0811-计费概述

    腾讯云文字识别 OCR 提供预付费和后付费两种计费模式,开通后默认使用后付费的计费模式。如果您拥有免费资源包或者付费资源包,将优先对资源包进行扣减,资源包耗尽后...

    算法发
  • Selenium3+python自动化50-环境搭建(firefox)

    前言 有不少小伙伴在安装selenium环境后启动firefox报错,因为现在selenium升级到3.0了,跟2.0的版本还有有一点区别的。 安装环境过程中...

    上海-悠悠
  • 高清变脸更快更逼真!比GAN更具潜力的可逆生成模型来了 | OpenAI论文+代码

    量子位
  • Ubuntu18安装Docker

    汐楓

扫码关注云+社区

领取腾讯云代金券