有奖捉虫:办公协同&微信生态&物联网文档专题 HOT
登录 流计算 Oceanus 控制台,目前 Oceanus 在新建作业中支持4种作业类型:SQL 作业、JAR 作业、ETL 作业和 Python 作业。开发人员可根据业务需求与使用场景,选择合适的作业类型进行开发。

SQL 作业类型介绍

SQL 与其他的编程语言相比学习成本较低,使用 SQL 作业进行开发将降低数据开发人员的使用 Flink 门槛。SQL 作业可以快速浏览流中的动态或静态数据,用于构建功能强大的数据转换管道或分析管道。而且 SQL 作业对流批输入有相同语义,可产生同样的计算结果。

JAR 作业类型介绍

JAR 作业是用户基于 Flink DataStream API 或 Flink Table API 业务代码开发的作业类型,开发人员需要对 Java 或 Scala DataStream API 有一定的了解,适合对流计算处理偏底层和复杂要求较高的用户。并且 JAR 作业模式需要用户先在本地开发并编译好 JAR 包。

ETL 作业类型介绍

ETL (抽取、转换、加载)管道任务可以从数据源获取数据,进行一些转换操作和信息补充,将结果存储起来。ETL 作业操作简单便捷,1分钟即可快速构建轻量级 ETL 作业。开发人员甚至不需要了解编程语言,只需要选择数据源表和目的表,根据业务逻辑完成字段映射的配置,即可启动 ETL 作业,对业务系统的数据进行抽取,清洗转换之后加载到数据仓库。

Python 作业类型介绍

Python 作业是用户基于 Python 代码开发的作业类型,开发人员需要对 Python 和支持的库有一定的了解。区别于其他许多编程语言,Python 更容易一些。Python 的语法里面条条框框以及特殊的处理场景较少,它专注于您想用您的代码完成什么,而非语言表现的丰富程度,相对简单易用易上手。开发 Python 作业需要先在本地编写好 Python 文件或者打包好 Zip 程序包,以 Python 程序包的形式上传后方可在控制台配置 Python 作业。