作业类型

最近更新时间:2021-09-27 16:28:49

登录 流计算 Oceanus 控制台,目前 Oceanus 在新建作业中支持3种作业类型:SQL 作业、JAR 作业、ETL 作业。开发人员可根据业务需求与使用场景,选择合适的作业类型进行开发。

SQL 作业类型介绍

SQL 与其他的编程语言相比学习成本较低,使用 SQL 作业进行开发将降低数据开发人员的使用 Flink 门槛。SQL 作业可以快速浏览流中的动态或静态数据,用于构建功能强大的数据转换管道或分析管道。而且 SQL 作业对流批输入有相同语义,可产生同样的计算结果。

JAR 作业类型介绍

JAR 作业是用户基于 Flink DataStream API 或 Flink Table API 业务代码开发的作业类型,开发人员需要对 Java 或 Scala DataStream API 有一定的了解,适合对流计算处理偏底层和复杂要求较高的用户。并且 JAR 作业模式需要用户先在本地开发并编译好 JAR 包。

ETL 作业类型介绍

ETL (抽取、转换、加载)管道任务可以从数据源获取数据,进行一些转换操作和信息补充,将结果存储起来。ETL 作业操作简单便捷,1分钟即可快速构建轻量级 ETL 作业。开发人员甚至不需要了解编程语言,只需要选择数据源表和目的表,根据业务逻辑完成字段映射的配置,即可启动 ETL 作业,对业务系统的数据进行抽取,清洗转换之后加载到数据仓库。

目录