会话管理

最近更新时间:2025-03-21 11:17:03

我的收藏
会话管理功能用于记录并追踪通过接口或Wedata提交到DLC引擎的notebook交互式会话,用户可以通过会话执行 SQL 查询、数据处理、模型训练等操作。

前提条件

数据湖计算 DLC 环境准备。
开通数据湖计算 DLC 引擎服务。
创建会话需购买作业类型引擎。
SuperSQL 作业引擎。
标准引擎 Spark 引擎或机器学习资源组。

操作步骤

2. 进入会话管理页面,用户可查看历史所有会话记录。
3. 支持对引擎类型、状态、Kind、引擎名称、Session ID、Session Name 方式的筛选查看。
4. 点击 Session Name/ID,支持查看会话详情。
5. 支持用户在控制台点击 kill 关闭会话。
6. 支持用户查看会话的 Spark UI。

会话列表

字段名称
描述
Session Name/ID
会话的唯一标识。
SuperSQL 作业引擎创建的会话,仅有 Session ID。Session ID 规则:livy-session-uuid。
标准引擎 Spark 引擎创建的会话:
用户提交的 Notebook,则前缀为 session_test
用户提交的批量 SQL,则前缀为 temporary-rg
状态
当前会话的状态,可分为
not_started:会话尚未启动。此状态表示会话请求已被接收,但由于某种原因(例如资源不足或配置问题),会话尚未开始。用户需要检查相关配置或资源状态,以便启动会话。
starting:会话正在启动中。此状态表示 Livy 正在为新的 Spark 会话分配资源并初始化环境。
idle:话已成功启动并处于空闲状态。此时,您可以提交 Spark 作业,Livy 会话准备好处理请求。
busy:会话正在处理一个或多个作业。此状态表示会话正在执行任务,无法接受新的作业请求,直到当前作业完成。
shutting_down:会话正在关闭中。此状态表示用户请求停止会话,Livy 正在进行清理和资源释放的操作。会话可能会在此状态下停留一段时间,直到所有正在运行的作业完成并且资源被释放。
error:会话在启动或执行过程中遇到错误。此状态通常表示会话无法正常工作,可能是由于资源不足、配置错误或其他问题导致的。
dead:会话已死亡,无法恢复。
killed:会话被强制终止。此状态表示用户主动终止了会话,可能是由于会话不再需要或正在执行的作业出现问题。被杀死的会话无法恢复。
success:会话成功完成。此状态通常用于表示会话中的所有作业都已成功执行并完成。会话在此状态下可以被认为是成功的,用户可以查看结果或输出。
引擎
挂载的计算引擎。
Kind
会话类型:
Spark
Pyspark
SQL
Machine Learning
Python
MLlib
创建人
创建会话的用户。
时长
会话运行时长。