会话管理功能用于记录并追踪通过接口或Wedata提交到DLC引擎的notebook交互式会话,用户可以通过会话执行 SQL 查询、数据处理、模型训练等操作。
前提条件
数据湖计算 DLC 环境准备。
开通数据湖计算 DLC 引擎服务。
创建会话需购买作业类型引擎。
SuperSQL 作业引擎。
标准引擎 Spark 引擎或机器学习资源组。
操作步骤
1. 登录 数据湖计算 DLC 控制台 >运维管理> 会话管理,选择服务地域。
2. 进入会话管理页面,用户可查看历史所有会话记录。
3. 支持对引擎类型、状态、Kind、引擎名称、Session ID、Session Name 方式的筛选查看。
4. 点击 Session Name/ID,支持查看会话详情。
5. 支持用户在控制台点击 kill 关闭会话。
6. 支持用户查看会话的 Spark UI。
会话列表
字段名称 | 描述 |
Session Name/ID | 会话的唯一标识。 SuperSQL 作业引擎创建的会话,仅有 Session ID。Session ID 规则:livy-session-uuid。 标准引擎 Spark 引擎创建的会话: 用户提交的 Notebook,则前缀为 session_test 用户提交的批量 SQL,则前缀为 temporary-rg |
状态 | 当前会话的状态,可分为 not_started:会话尚未启动。此状态表示会话请求已被接收,但由于某种原因(例如资源不足或配置问题),会话尚未开始。用户需要检查相关配置或资源状态,以便启动会话。 starting:会话正在启动中。此状态表示 Livy 正在为新的 Spark 会话分配资源并初始化环境。 idle:话已成功启动并处于空闲状态。此时,您可以提交 Spark 作业,Livy 会话准备好处理请求。 busy:会话正在处理一个或多个作业。此状态表示会话正在执行任务,无法接受新的作业请求,直到当前作业完成。 shutting_down:会话正在关闭中。此状态表示用户请求停止会话,Livy 正在进行清理和资源释放的操作。会话可能会在此状态下停留一段时间,直到所有正在运行的作业完成并且资源被释放。 error:会话在启动或执行过程中遇到错误。此状态通常表示会话无法正常工作,可能是由于资源不足、配置错误或其他问题导致的。 dead:会话已死亡,无法恢复。 killed:会话被强制终止。此状态表示用户主动终止了会话,可能是由于会话不再需要或正在执行的作业出现问题。被杀死的会话无法恢复。 success:会话成功完成。此状态通常用于表示会话中的所有作业都已成功执行并完成。会话在此状态下可以被认为是成功的,用户可以查看结果或输出。 |
引擎 | 挂载的计算引擎。 |
Kind | 会话类型: Spark Pyspark SQL Machine Learning Python MLlib |
创建人 | 创建会话的用户。 |
时长 | 会话运行时长。 |