前期准备
注册账号
注意:
仅针对管理员,可能会涉及到以下操作。
1. 进入 数据湖计算 DLC 控制台,单击前往访问管理,授权数据湖计算。
![](https://qcloudimg.tencent-cloud.cn/image/document/9c4bd569c2c8929cfb39aecd90bb4c99.png)
2. 在角色管理中,单击同意授权。
![](https://qcloudimg.tencent-cloud.cn/image/document/4ab672d4194eda45aade06204e40df63.png)
购买引擎
您可以根据业务场景诉求,购买不同类型的引擎去配合您的使用。引擎分为标准引擎与 SuperSQL 引擎。两者的区别为:支持的 SQL 语法不同,其中标准引擎支持原生语法和行为,SuperSQL 引擎支持 DLC 自研的 SuperSQL 语法。
注意:
需要在访问管理 CAM 中拥有财务权限。
1. 在 数据湖计算 DLC 控制台 上,可在概览页及数据引擎页中前往引擎购买页购买引擎。访问路径:概览页 > 初始化配置 > 购买数据引擎。
![](https://qcloudimg.tencent-cloud.cn/image/document/6d9af691b91da0799fc9401fefb7c031.png)
2. 在数据引擎界面,单击创建资源。
![](https://qcloudimg.tencent-cloud.cn/image/document/7e5576e85531481d93803817be7deea8.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/7e5576e85531481d93803817be7deea8.png)
3. 在购买页中选择需要购买的:
说明:
1. 引擎分为标准引擎与 SuperSQL 引擎。两者的区别为:支持的 SQL 语法不同,其中标准引擎支持原生语法和行为,SuperSQL 引擎支持 DLC 自研的 SuperSQL 语法。
2. 购买引擎规格建议:由于6CUs的集群规模较小,建议仅用于测试场景,真实生产场景建议选择购买64CUs以上规格的集群。
引擎类型 | 引擎名称 | 适用场景 |
SuperSQL引擎 | SparkSQL | 适用于稳定高效的离线 SQL 任务。 |
| Spark 作业 | 适用于 Spark 原生的流式/批式数据作业处理。 |
| Presto | 适用于敏捷、快速的交互式查询分析。 |
标准引擎 | Spark | 适用于 Spark 原生的流式/批式数据作业处理/离线 SQL 任务 |
| Presto | 适用于敏捷、快速的交互式查询分析。 |
引擎操作类权限自动授权
数据湖计算 DLC 支持默认开启引擎操作类权限,开启后,所有用户默认拥有该引擎的下列权限:
使用:使用该引擎进行任务执行。
操作:操作引擎的暂停、挂起。
监控:针对引擎的使用情况监控运维。
注意:
1. 关闭后,管理员默认继续拥有引擎各权限,普通用户需管理员在权限管理页添加权限。
2. 原有普通用户拥有权限不受影响,可前往权限管理页删除。
3. 后续新建普通用户无使用权限,需在权限管理页手动添加。
如何开启、关闭自送授权引擎权限
引擎默认开启/关闭操作类权限入口有两个:
入口一:引擎购买页 > 高级配置项
![](https://qcloudimg.tencent-cloud.cn/image/document/edc4fc29bea5dea87086fbfe3ac0e4ac.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/edc4fc29bea5dea87086fbfe3ac0e4ac.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/baa709093c3c7dc964ef178a6ee73360.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/baa709093c3c7dc964ef178a6ee73360.png)
设置引擎权限后,单击确定。
![](https://qcloudimg.tencent-cloud.cn/image/document/4b4b185dc61cafb09f59154c319a610f.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/4b4b185dc61cafb09f59154c319a610f.png)
团队账号开通
如果您有多账号协同使用产品的诉求,可按照以下操作建议进行开通:
1. 每个地域的权限不通用,不同地域需要分别设置对应权限。
2. 数据湖计算 DLC 的权限快捷开通入口:
开通子账号访问数据湖计算 DLC 的权限,请前往 CAM 控制台 进行配置。
开通子账号对数据湖计算 DLC 产品内的数据与引擎读写权限,请前往 DLC 控制台 配置。
开通子账号与访问 DLC 权限
主账户默认拥有 DLC 全部操作权限。主账号通过访问管理 CAM 将 DLC 的访问权限授予给子用户,使子用户拥有对应的 DLC 操作权限:QcloudDLCFullAccess(DLC 的全部操作权限)。
操作步骤
![](https://qcloudimg.tencent-cloud.cn/image/document/947b8126f8f118a8023cbcb04e6684c5.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/947b8126f8f118a8023cbcb04e6684c5.png)
2. 为子账号添加预设策略:QcloudDLCFullAccess(DLC 的全部操作权限)。
可在用户列表搜索需授权的用户,单击授权。
![](https://qcloudimg.tencent-cloud.cn/image/document/b81952869669c23b4661fa88cae9fd11.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/b81952869669c23b4661fa88cae9fd11.png)
策略列表中选择 QcloudDLCFullAccess(DLC 的全部操作权限)。
![](https://qcloudimg.tencent-cloud.cn/image/document/4d40d2467bc331377c2b60054b54f70c.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/4d40d2467bc331377c2b60054b54f70c.png)
开通子账号在 DLC 中数据与引擎权限
添加用户至 DLC 权限管理
说明:
1. 请确认用户权限生效地域。
2. 关于用户划分:
管理员:拥有所有资源的权限。
普通用户:需要授予具体的权限,或者绑定工作组来获取权限。
1. 登录 数据湖计算 DLC 控制台,进入权限管理页面,选择对应服务地域,进入权限管理页。单击添加用户。
![](https://qcloudimg.tencent-cloud.cn/image/document/daacc2f477c3986e37da08ac3c36ba61.png)
2. 通过子用户的 CAM ID 将该账号添加进 DLC 内进行管理。用户类型请按需选择。
![](https://qcloudimg.tencent-cloud.cn/image/document/f18abf460f574b1a37b78a78c3219335.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/f18abf460f574b1a37b78a78c3219335.png)
3. 绑定用户至工作组(非必选步骤)。
说明:
![](https://qcloudimg.tencent-cloud.cn/image/document/3e66d99121e162757049c8f9f8ad994e.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/3e66d99121e162757049c8f9f8ad994e.png)
添加引擎与数据权限
创建用户或工作组后单击列表中的授权操作,为工作组添加权限,包括数据权限和引擎权限。
![](https://qcloudimg.tencent-cloud.cn/image/document/81fee8b4229c3d774b9c507c214837bc.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/81fee8b4229c3d774b9c507c214837bc.png)
数据权限
数据目录权限:包括在数据目录下创建数据库和创建数据目录两种权限。
![](https://qcloudimg.tencent-cloud.cn/image/document/4e157ebabbd57d6bc6ab9a3a20b18c51.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/4e157ebabbd57d6bc6ab9a3a20b18c51.png)
数据库表权限:可授予库表级别的细粒度权限,包括对库、表、视图、函数的查询和编辑等权限。
![](https://qcloudimg.tencent-cloud.cn/image/document/c9f9131ac95cc113acd11e9c86b8a5e4.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/c9f9131ac95cc113acd11e9c86b8a5e4.png)
引擎权限
根据用户或工作组的使用场景,勾选引擎的权限策略。
说明:
使用:使用该引擎进行任务执行。
修改:修改引擎的配置参数,如引擎的规格变配。
操作:操作引擎的暂停、挂起。
监控:针对引擎的使用情况监控运维。
删除:删除引擎。
可授权:勾选后,该子用户或工作组下的所有成员拥有对引擎的授权权限。
![](https://qcloudimg.tencent-cloud.cn/image/document/2da65622b8a214b1f35b0330f933ea5e.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/2da65622b8a214b1f35b0330f933ea5e.png)
配置结果存储位置
配置结果存储位置
![](https://qcloudimg.tencent-cloud.cn/image/document/e785f27d5273c69b6908ca91aa857e7b.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/e785f27d5273c69b6908ca91aa857e7b.png)
选择存储的位置及方式
说明:
元数据加速桶:在当前地域,可更好的提升查询分析性能。内表可直接开启,外表需要确认引擎权限是否允许开启。
请注意:共享引擎无法绑定元数据加速桶。当用户选择用户存储路径时,独享引擎需要先绑定元数据加速桶后,再做查询才能生效。
用户存储:用户存储为您在 COS 上的存储桶路径。
![](https://qcloudimg.tencent-cloud.cn/image/document/fb51daa646f2026e7c8b0a2a27edf81e.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/fb51daa646f2026e7c8b0a2a27edf81e.png)
创建库
创建数据库前,选择使用消耗的引擎。
![](https://qcloudimg.tencent-cloud.cn/image/document/6aa6bc3452ba7536492ec3d93b472244.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/6aa6bc3452ba7536492ec3d93b472244.png)
输入数据库名称,单击确认。
![](https://qcloudimg.tencent-cloud.cn/image/document/5ef495b9ba9e77e88c2e919f9b3b776a.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/5ef495b9ba9e77e88c2e919f9b3b776a.png)
创建表
原生表:是您存放于 DLC 托管存储上的表,默认为 Iceberg 格式。使用原生表无需关注 Iceberg 底层文件,而且具备数据优化等能力帮助构建数据湖。
![](https://qcloudimg.tencent-cloud.cn/image/document/c41c0025095970ca16ca8afbdd5bcce8.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/c41c0025095970ca16ca8afbdd5bcce8.png)
外表:文件为您自己账号下的 COS 桶或其他第三方数据存储的表。DLC 可以直接建立外表进行分析,无需额外加载数据。
![](https://qcloudimg.tencent-cloud.cn/image/document/8cbf8cfbb50f74f3b197fea79e7b4c48.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/8cbf8cfbb50f74f3b197fea79e7b4c48.png)
注意:
创建原生表后,需要刷新浏览器才能使用。
数据查询
进入数据湖计算 DLC 控制台-数据探索。在分析页面可创建 SQL 查询。功能支持全部运行、部分运行,下载结果,物化视图。
![](https://qcloudimg.tencent-cloud.cn/image/document/d4b8183ad312c6893945504a37981afb.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/d4b8183ad312c6893945504a37981afb.png)