有奖捉虫:办公协同&微信生态&物联网文档专题 HOT

前期准备

注册账号

注意:
仅针对管理员,可能会涉及到以下操作。
1. 进入 数据湖计算 DLC 控制台,单击前往访问管理,授权数据湖计算。



2. 在角色管理中,单击同意授权。




购买引擎

注意:
需要在访问管理 CAM 中拥有财务权限。
1. 数据湖计算 DLC 控制台 上,可在概览页及数据引擎页中前往引擎购买页购买引擎。
概览页 > 初始化配置 > 购买数据引擎

数据引擎 > 创建资源



2. 在购买页中选择需要购买的引擎类型:
说明:
SparkSQL:适用于稳定高效的离线 SQL 任务。
Spark 作业:适用于 Spark 原生的流式/批式数据作业处理。
Presto:适用于敏捷、快速的交互式查询分析。

注意:
6CUs的集群规模较小,建议仅用于测试场景,真实生产场景建议选择购买64CUs以上规格的集群。

引擎操作类权限自动授权

数据湖计算 DLC 支持默认开启引擎操作类权限,开启后,所有用户默认拥有该引擎的下列权限:
使用:使用该引擎进行任务执行。
操作:操作引擎的暂停、挂起。
监控:针对引擎的使用情况监控运维。
注意:
1. 关闭后,管理员默认继续拥有引擎各权限,普通用户需管理员在权限管理页添加权限。
2. 原有普通用户拥有权限不受影响,可前往权限管理页删除。
3. 后续新建普通用户无使用权限,需在权限管理页手动添加。

如何开启、关闭自送授权引擎权限

引擎默认开启/关闭操作类权限入口有两个:
入口一:引擎购买页 > 高级配置项



入口二:进入 数据引擎 页面,单击编辑授权引擎权限。



设置引擎权限后,单击确定




团队账号开通

如果您有多账号协同使用产品的诉求,可按照以下操作建议进行开通:
1. 每个地域的权限不通用,不同地域需要分别设置对应权限。
2. 数据湖计算 DLC 的权限快捷开通入口:
开通子账号访问数据湖计算 DLC 的权限,请前往 CAM 控制台 进行配置。
开通子账号对数据湖计算 DLC 产品内的数据与引擎读写权限,请前往 DLC 控制台 配置。

开通子账号与访问 DLC 权限

主账户默认拥有 DLC 全部操作权限。主账号通过访问管理 CAM 将 DLC 的访问权限授予给子用户,使子用户拥有对应的 DLC 操作权限:QcloudDLCFullAccess(DLC 的全部操作权限)。

操作步骤

1. 登录CAM 控制台 创建子用户,详细操作请参见 创建子账号并授权



2. 为子账号添加预设策略:QcloudDLCFullAccess(DLC 的全部操作权限)。
可在用户列表搜索需授权的用户,单击授权



策略列表中选择 QcloudDLCFullAccess(DLC 的全部操作权限)。




开通子账号在 DLC 中数据与引擎权限

添加用户至 DLC 权限管理

说明:
1. 请确认用户权限生效地域。
2. 关于用户划分:
管理员:拥有所有资源的权限。
普通用户:需要授予具体的权限,或者绑定工作组来获取权限。
1. 登录 数据湖计算 DLC 控制台,进入权限管理页面,选择对应服务地域,进入权限管理页。单击添加用户。

2. 通过子用户的 CAM ID 将该账号添加进 DLC 内进行管理。用户类型请按需选择。



3. 绑定用户至工作组(非必选步骤)。
说明:
如需要管理多个用户的使用权限,可通过绑定工作组,待创建完工作组后,再进行添加,具体创建流程请参见 一分钟入门 DLC 权限管理




添加引擎与数据权限

创建用户或工作组后单击列表中的授权操作,为工作组添加权限,包括数据权限和引擎权限。




数据权限

数据目录权限:包括在数据目录下创建数据库和创建数据目录两种权限。



数据库表权限:可授予库表级别的细粒度权限,包括对库、表、视图、函数的查询和编辑等权限。




引擎权限

根据用户或工作组的使用场景,勾选引擎的权限策略。
说明:
使用:使用该引擎进行任务执行。
修改:修改引擎的配置参数,如引擎的规格变配。
操作:操作引擎的暂停、挂起。
监控:针对引擎的使用情况监控运维。
删除:删除引擎。
可授权:勾选后,该子用户或工作组下的所有成员拥有对引擎的授权权限。




配置结果存储位置

在使用数据探索功能前,需要先配置查询结果路径,配置完毕后,查询结果会保存到该 COS 路径下或 DLC 的托管存储。详细操作请参见 配置查询结果路径操作指南

配置结果存储位置

进入数据湖计算 DLC 控制台,选择数据探索功能,选择结果存放位置配置,单击点击配置




选择存储的位置及方式

说明:
元数据加速桶:在当前地域,可更好的提升查询分析性能。内表可直接开启,外表需要确认引擎权限是否允许开启。
请注意:共享引擎无法绑定元数据加速桶。当用户选择用户存储路径时,独享引擎需要先绑定元数据加速桶后,再做查询才能生效。
用户存储:用户存储为您在 COS 上的存储桶路径。




创建库

创建数据库前,选择使用消耗的引擎。



输入数据库名称,单击确认




创建表

原生表:是您存放于 DLC 托管存储上的表,默认为 Iceberg 格式。使用原生表无需关注 Iceberg 底层文件,而且具备数据优化等能力帮助构建数据湖。



外表:文件为您自己账号下的 COS 桶或其他第三方数据存储的表。DLC 可以直接建立外表进行分析,无需额外加载数据。



注意:
创建原生表后,需要刷新浏览器才能使用。

数据查询

进入数据湖计算 DLC 控制台-数据探索。在分析页面可创建 SQL 查询。功能支持全部运行、部分运行,下载结果,物化视图。
关于 SQL 语法说明,请参见 SQL 语法