概述
数据湖计算(Data Lake Compute,简称 DLC)是无存储的 Serverless 化的交互式联邦查询服务。无需 ETL,使用标准 SQL 即可分析对象存储、数据库、数仓、NoSQL 数据源的数据。用户无需进行传统数据分层建模的背景下,对云端分散的多源异构数据进行计算和分析,以期缩短数据分析的准备时间,降低其成本。
本章节介绍的 DLC API 接口均为 API 3.0 接口。
您可以调用 API 对 DLC 进行操作,例如创建托管存储内表、删除表等。
DLC 支持的所有接口信息,请参见 API 概览。
术语表
DLC API 接口的常见术语请参见下表:
| 术语 | 描述 |
|---|---|
| 数据引擎 | DLC 的数据引擎(Data Engine)是 DLC 的数据分析计算服务的基础,用户在 DLC 进行的所有计算都需要使用数据引擎。根据用户的使用场景不同,可选择对应的引擎类型。 |
| 托管存储 | 托管存储(Managed storage)是指用户在数据湖产品上托管的存储空间,存储底层为对象存储。托管存储上存放着原生表、用户程序包、查询结果等数据,因此如果需要使用原生表及其数据优化等能力,需要先开启托管存储。托管存储上的原生表默认为 Iceberg 格式表,客户无须管理底层的文件内容。 |
使用限制
对于 API 接口等参数限制,请参考各接口文档中的参数说明。
API 快速入门
您可以使用 API Explorer 工具在线调用 API。
本文以 创建 spark 作业 为例,通过 API Explorer 工具调用 API 接口的步骤如下:
- 进入 API Explorer 工具页面。更多 API Explorer 工具使用信息,请参见 使用 API Explorer。
- 调用 创建 spark 作业,创建 spark 作业。
- 创建完成后即可在控制台页面查看到创建好的 spark 作业,可以对作业进行编辑、运行等。