依赖管理

最近更新时间:2023-09-01 17:08:22

我的收藏
依赖是用户在流计算作业中需要使用的外部资源,可分为两种类型:
JAR 程序包可以是 JAR 作业的主程序,也可以是 SQL 作业或 JAR 作业的自定义函数或自定义 Connector。用户需先在依赖管理中上传 JAR 包,然后才可以在 JAR 作业、SQL 作业中引用。
配置文件可以是 JAR 作业中需要读取的资源文件,例如文本文件、配置文件等,用户在依赖管理中上传配置文件后,可以在 JAR 任务中通过一个固定的路径使用配置文件,例如实现读取配置等操作。

创建依赖

登录 流计算 Oceanus 控制台,选择依赖管理 > 新建 > 新建依赖。在新建依赖页面,填写地域、依赖类型、所属目录、上传依赖、依赖描述,填写完成后,单击确定完成新建依赖。完成新建后依赖列表将出现刚新建的依赖。
地域:所选地域需与要使用此依赖的作业或独享集群所在地域一致
依赖类型:需要选择 JAR 程序包、Python文件、数据文件或是配置文件类型。
上传依赖:可以选择本地上传或使用 COS 资源两种上传方式。
若使用本地上传的方式,单击选择依赖将打开本地文件选择窗口,选择本地的依赖文件并上传,使用本地上传的 JAR 程序包和Python程序包的大小不能超过50M,配置文件和数据文件不能超过2M。若超过,可提交 工单 申请上传。
若使用 COS 资源,单击点击选择将打开 COS 存储桶列表,从中选择需要的依赖。要使用 COS 资源需要先将依赖上传至 对象存储 COS
上传依赖后,依赖的命名与上传文件名保持一致且不允许修改,建议使用更有区分度且可读的名称来命名被上传文件。




上传依赖新版本

一个依赖支持多个新版本,在要新增版本的依赖的操作栏中单击上传新版本即可打开如下对话框,上传依赖并填写版本说明后再单击确定即可生成依赖的新版本,版本编号由系统自动生成。
一个依赖最多可保留20个版本,若已达版本数量上限,将无法上传新版本,需要手动删除不需要的历史版本之后才能够上传新版本。



查看依赖信息

登录 流计算 Oceanus 控制台,单击依赖管理即可查看当前地域下的依赖列表。单击要查看的依赖名称,即可查看该程序包的版本信息和已经关联的作业,即已引用此依赖的作业版本。流计算作业引用的是一个依赖下的一个具体的版本,即由某个作业版本引用某个依赖版本。



删除依赖

在依赖列表中可删除整个依赖,此操作将删除该依赖下的所有版本。也可以在依赖版本中删除某个单独的特定的版本
当某个依赖版本被某个作业版本引用后,无论此作业版本的状态是草稿还是停止、暂停或运行中都无法删除该依赖版本。需将该作业版本删除或者在作业版本中取消该依赖版本的引用后,才可删除该依赖版本。当有依赖版本不能被删除时,也无法直接删除整个依赖。

查看文件

如果依赖属于配置文件类型,则在依赖版本列表的操作中会增加查看功能,查看功能能够查看当前配置文件的内容。
在某些存量依赖中可能会存在依赖名与 COS 物理文件名不一致的情况,这种情况下查看能够显示 COS 上的物理文件名,方便在程序中调用。