资源管理

最近更新时间:2025-03-21 15:28:11

我的收藏

功能概述

资源管理功能支持将用户本地的 .jar、.zip、.csv、.sh、.py、.kjb、.ktr 文件上传到平台的 COS 桶,用于支持后续的脚本开发、计算任务开发、函数开发等功能场景。

新建资源

方法一:在资源管理中新建资源

将本地的资源文件上传到 WeData 进行管理,为数据开发过程提供自定义函数的创建能力。
2. 单击左侧菜单中的项目列表,找到需要操作资源管理功能的目标项目。
3. 选择项目后,单击进入数据开发模块。
4. 单击左侧菜单中的资源管理
5. 在资源管理目录中,单击

展开操作菜单后选择新建资源

6. 在弹窗中上传本地的资源文件,输入资源名称,选择资源目录文件夹、存储路径后。

7. 配置完成后,单击确认,即可将脚本资源维护在资源管理功能中,同时在相应的资源页面可以查看详细信息。


方法二:从 Python 任务中导出

1. 离线开发 > 编排空间 > Python 任务界面,在 Python 任务中编辑所需的资源内容,单击编辑器上方操作栏的导出为资源。

2. 配置导出为资源:支持两种配置方式。
若需将 Python 任务中的代码配置为一个新资源,则配置方式可选择新建资源。
若需将 Python 任务中的代码覆盖已有资源内容,则可选择覆盖已有资源。填写配置信息,单击确认后,即创建资源或替换已有资源的内容。
注意:
资源内容为点击导出为资源时 Python 任务代码编辑器中的内容,而非保存内容或提交版本内容。


资源管理

1. 单击

图标,可执行新建文件夹、新建资源项操作。
2. 单击

图标,可执行批量删除操作。
3. 单击

图标,可以打开、重命名、删除或下载资源。
4. 双击已创建资源,可以查看对应资源的详细信息,包括资源名称、资源类型、存储路径、文件大小、创建用户、创建时间,并且提供重新上传资源的操作功能。
5. 批量删除:单击批量删除后,用户可自行选择需要删除的资源包,单击确定,即可进行资源删除。
注意
被引用的资源无法被删除。

6. 新建资源:单击新建资源后,用户需要对文件名称、文件地址进行配置,在选择上传的文件后单击确认,即可完成资源上传。


引用资源示例

在 Python 中使用资源文件中的 Python 文件

1. 开发一个本地的 Python 脚本,名称为 demo.py 文件。
## demo.py
def print_method():
print("hello, world")

if __name__ == "__main__":
print("This is demo .py ")
print_method()
2. 上传到 WeData 的资源文件中的文件夹中,例如,文件夹 lib。

3. 在编排空间中新建 Python 任务,例如 python_demo。同时,打开资源文件,更多操作中选择引用资源,会自动将当前资源的文件路径放到 Python 任务代码中。
例如:##@resource_reference("lib/demo.py")
不同任务类型引用代码参考:
任务类型
代码格式
开发空间:SQL
编排空间:HiveSQL、JDBC SQL 、SparkSQL、DLCSQL、Impala、TCHouse-P 、Trino 、TChouse-X
--@resource_reference("资源管理路径/资源名称")
开发空间:Shell、Python
编排空间:Shell、Python
##@resource_reference("资源管理路径/资源名称")

下面是在 Python 中将 demo.py 作为库导入,并且调用 demo 库中 print_method 方法的样例代码。
#******************************************************************#
##create time: 2025-02-25 12:36:41
#******************************************************************#
##@resource_reference("lib/demo.py")
import sys
import os
sys.path.append(os.path.dirname(os.path.abspath('lib/demo.py')))
import demo
demo.print_method()
测试运行查看效果。


在 Shell 中调用 Python

新建 Shell 任务,打开资源文件,更多操作中选择引用资源,会自动将当前资源的文件路径放到 Shell 任务代码中。
例如:##@resource_reference("lib/demo.py")
1. 在 Shell 中执行 Python 命令,执行 Python 脚本。
##@resource_reference ("lib/demo.py")
#!/bin/bash
##**********************************************
##**********************************************
python lib/demo.py
2. 测试运行查看效果。