袋鼠云产品功能更新报告02期丨有亿点点走心！

不知不觉间，2022 年的脚步已经走到了倒数第二个月。临近年末，我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化，例如基线告警、数据服务平台新增 TDengine 数据源支持、行级权限根据用户属性实现动态赋权。

以下为袋鼠云产品功能更新报告第二期内容，更多探索，请继续阅读。

数栈 DTinsight

离线开发平台

1. 支持对接 Trino 引擎

创建项目时支持对接 Trino 引擎，支持创建和运行 Trino 任务。

file

2. 个人账号支持绑定 Kerberos 认证

数栈支持对用户或用户组绑定 Kerberos 证书，并支持以用户级 / 用户组级 Kerberos 账号进行任务提交。

file

3. 基线告警

基线是一组任务的管理单位，被纳入同一组基线的任务一般需要相同的产出时间。一条基线被纳入监控后，该基线中的任务及其所有上游的任务都会被自动监控。

基线在基线管理中开启时，每天晚上 24 点会生成第二天的基线实例，以对第二天的基线上任务所产生的实例进行监控。

例子：如下图，设一条基线包含任务 D、E，则 D、E 及其上游的 A、B 都会被纳入监控。

如果某任务的下游没有被纳入基线的任务（例如 C），则即使该任务异常，智能监控也不会报警。

file

file

4. 安全审计增加类目

file

5.NULL 可以选择识别为 NULL

数据同步任务中，FTP 作为源数据源时，NULL 可以选择识别为 NULL 或者空字符串

file

6. 整库同步可以选择同步任务存放目录

file

7. 其他优化项

・在 IDE 中进行任务切换时，会记住上次代码浏览位置

・postgresql、db2、greenplum、kingbase、mysql、oceanbase、oracle、sqlserber、tidb 等任务，存储函数使用 select * from procedure（） /select procedure（）调用时，在调度不会执行的问题修复

・表查询结果限制，所有 SQL 任务数据查询结果默认仅显示 1000 条

・数据同步任务当 HDFS 分区不存在时，高级配置中可配置是否报错

具体说明：通过指定高级配置中 failedIfPathNotExist 的状态，来配置是否进行报错提示：

若 failedIfPathNotExist=true，则报错；若 failedIfPathNotExist=false，则不报错

8. 技术改造

・统计数据流量统计优化

・SQL 加密解密防止某些关键字被拦

・支持 spark UDF

・inceptor 同步支持直接读写文件的方式去进行数据同步

实时开发平台

1. 产品首页改造

在原来只有项目入口和帮助手册入口的基础上，新增了更多运维信息。帮助用户进入产品后，不需要一个个进入项目，可以直观的看到目前项目运行情况、当前需要处理什么问题，提高产品可用性。

file

2. 任务运行日志推送

在【任务开发 - 任务设置】页面，支持将任务运行日志推送至外部 Kafka，运维人员可基于日志信息做更丰富的日志分析、任务监控等工作。

file

3. 优化项目

・PyFlink 任务在创建时可以引用第三方 python 包

・Flink1.12 兼容 TiDB Connector

・Flink1.10/1.12 兼容开启 SASL 认证的 Kafka Connector

・优化日志打印格式，避免出现 /n/t 等字符

・Source Connector 新增支持了 RocketMQ

数据服务平台

1.【生成 API】新增 TDengine 数据源支持

TDengine 是一款高性能、分布式、支持 SQL 的时序数据库，广泛运用于物联网、工业互联网、车联网、IT 运维、金融等领域。除核心的时序数据库功能外，TDengine 还提供缓存、数据订阅、流式计算等大数据平台所需要的系列功能。

目前 EasyAPI 支持 TDengine 基本 SQL 语句的查询功能，可以在「生成 API」-「自定义 SQL 模式」DQL 模式下创建 TDengine API 服务。

file

2.【API 市场】增加批量导出功能

支持 API 市场 API 的批量导出，用户可先在测试环境中进行 API 调试，无误后在 API 市场批量导出 API，再在正式环境中导入 API，提高效率。

file

3.【API 调用情况】新增下载日志功能

「API 管理」API 调用情况 调用明细 / 错误明细模块增加「下载日志」功能，可以通过设置调用条件下载 7 天内的日志数据，方便用户进行明细查看，调用统计。

file

4.【生成 API】in、not in 操作符增加分隔符配置

之前的版本当进行 in、not in 操作符查询数据时，默认入参参数为逗号分隔。存在特殊业务场景入参参数中包含逗号的情况，导致入参分隔错误。

当前版本中，针对 in、not in 操作符，可以自定义选择英文 “，”、“｜”、“/”、“：”、“；” 五种分隔符，以满足不同客户业务场景需求。

file

数雁 EasyDigit

客户数据洞察平台（原智能标签平台）

1.【授权】- 标签 / 实体 / 群组 / 目录细粒度权限控制

用户痛点：标签、实体、群组等属于企业数据资源的一部分，随着资源持续维护、资产沉淀，对资源的权限控制提出了更高的要求，本次新增的授权功能能够实现灵活的权限控制。

新增功能说明：给用户 / 用户组 / 部门 / 角色授予当前资源的权限，可授权的资源包括标签、实体、群组、目录，可授予的权限包括可查看、可编辑权限，也可以将资源设置为全员公开可查看 / 可编辑，实现细粒度的权限控制。

file

file

2.【行级权限】- 根据用户属性实现动态赋权

用户痛点：行级权限 用来控制用户对标签数据的访问权限，当某个用户被设置了行级权限后，只能查看在权限规则内设置的标签数据。

新增功能说明：

・支持针对用户属性动态设置权限规则，如 1000 条结果数据，用户 A 查看 200 条，用户 B 查看 500 条

・单个权限标识可设多条权限规则，且最大支持 5 个层级，条件之间支持配置 “且”、“或” 关系

・权限的适用成员可指定用户、用户组、部门、角色，且支持针对用户属性动态设置适用成员

file

3.【多值标签】- 标签值分隔去重

多值标签 的值由一个或多个值组合构成，多个值之间由分隔符进行分隔（系统固定为英文逗号），可在实体 / 关系创建时指定标签是否多值。

多值型标签的操作符包括【包含部分、包含所有、不包含、精确匹配、模糊匹配、不匹配、有值、无值】，可选的是分隔并去重后的标签值。其中：

・包含所有：若选择多个标签值，筛选结果将同时符合所有标签值，即多个标签值的筛选结果之间使用交集运算；

・包含部分：若选择多个标签值，筛选结果将至少符合其中一个标签值，即多个标签值的筛选结果之间使用并集运算。

file

4.【组织架构】- 引入多层级部门

组织架构 是一个组织整体的结构，是企业内部开展业务、落实管理的基本要素。标签系统支持根据多层级的组织架构添加用户，并根据部门进行标签授权、行级权限的控制。

file

5.【批量操作】- 发布 / 更新交互升级

・批量发布：分类展示可发布、无法发布的标签，并说明标签无法发布的原因，降低操作门槛

file

・批量更新：分类展示可更新、无法更新的标签，并说明标签无法更新的原因，降低操作门槛

file

6.【通用模板】- 查询模板设置

设置查询维度通用模板，并直接应用于标签圈群、上传本地群组、群组交并差选查询维度的地方，用户可以在模板的基础上增删查询维度，减少操作成本。

file

7.【导出描述】- 导出数据时可填描述

用户在导出数据时可填写描述信息，系统将描述信息记录在审计日志中。

file

8. 其他优化项

・标签圈群支持重置条件

file

・字典数据最大支持 2000 条

file

袋鼠云开源框架钉钉技术交流群（30537511），欢迎对大数据开源项目有兴趣的同学加入交流最新技术信息，开源项目库地址：https://github.com/DTStack/Taier