Flink实战教程-自定义函数之标量函数

大数据技术与应用实战

发布于 2020-09-15 14:16:19

3100

发布于 2020-09-15 14:16:19

文章被收录于专栏：大数据技术与应用实战大数据技术与应用实战

背景

flink本身给我们提供了大量的内置函数，已经能满足我们绝大部分的需求，但是如果确实是碰到了一些特殊的场景，无法满足我们的需求的时候，我们可以自定义函数来解决，今天我们主要讲一下最简单的自定义函数-ScalarFunction。

实例讲解

定义函数

首先我们来实现一个最简单的标量函数，主要功能就是对两个数加和操作，实现标量函数需要继承抽象类ScalarFunction，然后实现eval方法，代码如下：

 public static class SumFunction extends ScalarFunction{

  public Integer eval(Integer a, Integer b){
   return a + b;
  }
 }

通过程序注册函数

 //通过程序的方式来注册函数
  SumFunction sumFunction = new SumFunction();
  tableEnv.registerFunction("mysum", sumFunction);
  Table table1 = tableEnv.sqlQuery("select mysum(1,2)");
  tableEnv.toAppendStream(table1, Row.class).print();

通过sql注册函数

 //通过sql的方式来注册函数
  String className = SumFunction.class.getName();
  String sql = "create temporary function default_catalog.default_database.mysum1" +
               " as '" + className + "'";
  tableEnv.sqlUpdate(sql);
  Table table2 = tableEnv.sqlQuery("select mysum1(3,4)");
  tableEnv.toAppendStream(table2, Row.class).print();

之后我们可以通过StreamTableEnvironment类的listFunctions方法列出来所有的函数来看下我们自定义的函数是否在其中.

 //列出来所有的函数，看是否包含我们定义的函数
  String[] functions = tableEnv.listFunctions();
  Stream.of(functions).filter(f->f.startsWith("mysum")).forEach(System.out::println);

最后如果自定义的jar和主程序不在一个jar包，通过命令行提交任务的时候，记得通过参数--classpath（简写-C）将包含自定义函数的jar添加到classpath里。

今天的这个比较简单，就不多说了，完整的代码请参考

https://github.com/zhangjun0x01/bigdata-examples/blob/master/flink/src/main/java/sql/function/CustomScalarFunction.java

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2020-06-30，如有侵权请联系 cloudcommunity@tencent.com 删除

jar