Oozie分布式工作流——EL表达式

oozie支持使用EL(expression language)表达式。

基本的EL常量

  • KB
  • MB
  • GB
  • TB
  • PB

基本EL函数

string firstNotNull(String value1,String value2)

返回第一个不为空的值,如果都为null,则返回null

string concat(String s1,String s2)

拼接两个字符串,如果一个为null,拼接的字符串为空

string replaceAll(String src,String regex,String replacement)

替换正则表达式匹配的位置。如果regex为null,则什么也不做。如果replacement为null,则替换为空串

string appendAll(String src,String append,String delimeter)

把append字符串添加到切分后的字符串中。比如appendAll("a,b,c","123",",")将会返回a123,b123,c123。append为null代表返回空串,delimiter为null,代表什么也不做。

string trim(String s)

给指定的字符串去除空格

String urlEncode(String s)

URL解码

String timestamp()

返回当前的时间戳,并格式化为yyyy-MM-ddTHH:mmZ,到分钟粒度。

String toJsonStr(Map)

把Map返回成json,这在获取前一个action的输出内容时比较有用。比如wf:actionData(String actionName)格式化为json

String toPropertiesStr(Map)

把Map返回成Java Properties

String toConfigurationStr(Map)

把Map返回成Configuration

工作流EL函数

String wf:id()

获取当前工作流节点的id

String wf:name()

获取当前工作流的名称

String wf:appPath()

获取当前工作流workflow.xml所在的目录

String wf:conf(String name)

返回当前工作流的属性值

String wf:user()

返回启动当前工作流的用户

String wf:group()

返回当前工作流的组

String wf:callback(String stateVar)

返回当前工作流的回调,stateVar可以指定成某个状态,也可以传一个参数可以在远程进行替换

String wf:transition(String node)

返回工作流的状态

String wf:lastErrorNode()

返回当前工作流退出的状态

String wf:errorCode(String node)

返回特定node的错误代码

String wf:errorMessage(String message)

返回出错的主要信息

int wf:run()

返回当前工作流任务的标志,0代表正常

Map wf:actionData(String node)

返回指定节点输出的内容,需要配合<capture-output>标签使用

int wf:actionExternalId(String node)

返回节点的外部id

int wf:actionTrakerUri(String node)

返回当前节点的uri

int wf:actionExternalStatus(String node)

返回指定节点的外部状态

Hadoop EL常量

  • RECORDS
  • MAP_IN
  • MAP_OUT
  • REDUCE_IN
  • REDUCE_OUT
  • GROUPS

Hadoop 任务EL函数的例子

<workflow-app xmlns="uri:oozie:workflow:0.2" name="pig-wf">
    <start to="pig-node"/>
    <action name="pig-node">
        <pig>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <prepare>
                <delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/pig"/>
            </prepare>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>mapred.compress.map.output</name>
                    <value>true</value>
                </property>
            </configuration>
            <script>id.pig</script>
            <param>INPUT=/user/${wf:user()}/${examplesRoot}/input-data/text</param>
            <param>OUTPUT=/user/${wf:user()}/${examplesRoot}/output-data/pig</param>
        </pig>
        <ok to="java1"/>
        <error to="fail"/>
    </action>
    <action name="java1">
        <java>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
               <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <main-class>MyTest</main-class>
            <arg> ${wf:actionData("pig-node")["hadoopJobs"]}</arg>
            <capture-output/>
        </java>
        <ok to="end" />
        <error to="fail" />
    </action>
    <kill name="fail">
        <message>Pig failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

hdfs el方法

boolean fs:exists(String path)

判断指定的URI是否存在

boolean fs:isDir(String path)

判断是否是目录

long fs:dirSize(String path)

返回指定目录下的所有文件的大小。如果不是目录,返回-1。它不支持嵌套,只能返回下面一层的文件大小

long fs:fileSize(String path)

返回指定文件的大小,如果不是文件,返回-1

long fs:blockSize(String path)

返回指定文件占用的block大小。如果不是file,返回-1

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏java、Spring、技术分享

fastjson详解

  fastjson用于将Java Bean序列化为JSON字符串,也可以从JSON字符串反序列化到JavaBean。

6561
来自专栏WindCoder

MyBatis传入参数为集合 list 数组 map写法

这几天需要or和拼接in的特定查询条件来做查询,想看看mybatis是否可以通过传递list集合实现,于是找到了他的foreach标签。

1.9K2
来自专栏Java技术分享

JavaBean与内省操作

JavaBean是一种特殊的Java类,主要用于传递数据信息,这种Java类中的方法主要用于访问私有的字段,且方法名符合某种命名规则。

20610
来自专栏对角另一面

lodash源码分析之获取数据类型

所有的悲伤,总会留下一丝欢乐的线索,所有的遗憾,总会留下一处完美的角落,我在冰峰的深海,寻找希望的缺口,却在惊醒时,瞥见绝美的阳光! ——几米 本文为读...

2753
来自专栏函数式编程语言及工具

Scalaz(17)- Monad:泛函状态类型-State Monad

  我们经常提到函数式编程就是F[T]。这个F可以被视为一种运算模式。我们是在F运算模式的壳子内对T进行计算。理论上来讲,函数式程序的运行状态也应该是在这个运算...

2858
来自专栏极乐技术社区

使用ES6新特性开发微信小程序(1)

ECMAScript 6(简称ES6)是JavaScript语言的最新标准。因为当前版本的ES6是在2015年发布的,所以又称ECMAScript 2015。 ...

2095
来自专栏JAVA后端开发

xml与java对象的快速互转

做流程图的项目时,新的流程定义为xml的,需要对xml与java对象进行互转 查了一下activiti的转换xml方式,发现转换太麻烦了,需要一步步的解析xm...

8203
来自专栏编程

使用dict和set

Python内置了字典:dict的支持,dict全称dictionary,在其他语言中也称为map,使用键-值(key-value)存储,具有极快的查找速度。-...

22010
来自专栏C语言及其他语言

C语言网Online Judge系统支持语言和编译说明

Online Judge系统支持语言和编译情况: 语言编译器语言版本编译参数Cgcc 4.6.3C99gcc Main.c -o Main -Wall -lm ...

2888
来自专栏Golang语言社区

【Go 语言社区】Go学习笔记:json处理

Encode 将一个对象编码成JSON数据,接受一个interface{}对象,返回[]byte和error: func Marshal(v interfac...

62912

扫码关注云+社区