前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >上新啦!腾讯云云原生数据湖产品DLC 2.2.5版本发布,来看特性详解!

上新啦!腾讯云云原生数据湖产品DLC 2.2.5版本发布,来看特性详解!

作者头像
腾讯云大数据
发布2022-09-02 13:40:40
5680
发布2022-09-02 13:40:40
举报
文章被收录于专栏:腾讯云大数据腾讯云大数据

为了满足企业大数据对联邦查询、高性能交互式查询、成本优化的需求,DLC团队正式发布数据湖计算DLC2.2.5版本!该版本推出联邦查询增强、网络配置模块、日志信息、原生函数等重磅特性~全方位提升产品能力,助力企业数据资产分析与管理!

重点特性

重点特性一:联邦查询分析增强,支持更多数据源

联邦查询新增Postgresql, SQLServer, ClickHouse三种数据源支持,支持数据源连通性测试。联邦查询分析覆盖更多用户使用场景,提高用户使用便捷性。

重点特性二:新增网络配置管理模块,规范数据引擎网络访问

新增网络配置管理模块,支持对数据引擎进行VPC网络配置关联及管理,规范化管理数据引擎网络及访问。

通过网络配置管理,用户可以灵活管理配置数据引擎的网络关系,满足数据查询网络管理的同时提供多种网络关系进行选择。

重点特性三:引擎查询分析性能再提升

Presto独享引擎支持通过引擎高级设置开启Fragment cache能力,计算性能进一步提升。

用户可选择开通使用Fragment cache能力,在交互式查询分析时获得更快的查询速度及更稳定优秀的性能,进一步优化资源用量。

重点特性四:支持分钟级数据引擎自动挂起规则,成本空间进一步优化

新增数据引擎自动挂起触发时间周期配置能力(分钟级),帮助用户精细化管理数据引擎挂起规则,进一步优化成本结构。

用户可以在引擎启停策略中,配置自动挂起时间到分钟级,当引擎闲置时间到达后,引擎将自动挂起,减少资源消耗。   

版本功能特性总览

联邦查询分析支持更多数据源,提供更友好的关联交互

  • 新增 Postgresql, SQLServer, ClickHouse三种数据源支持,帮助用户更便捷实现联邦查询分析;
  • 创建数据源连接新增连通性测试能力;
  • 扩大数据源支持范围,为用户在业务生产中提供更广的场景支持及数据源选择;

提升查询脚本分类管理能力

  • 查询脚本保存支持选择文件夹;
  • 支持对已保存的查询脚本进行文件夹的变更;
  • 帮助用户更好管理查询脚本,更便捷进行分类、查找、汇总;

Spark内核支持与EMR的联邦查询分析

  • 支持通过SQL对EMR与DLC原生表进行联邦查询分析;
  • 支持通过Spark作业对EMR与DLC的联邦查询分析及数据处理能力;
  • 帮助Spark内核用户进行更加灵活的多源联邦查询分析,扩大业务支持场景;

丰富Spark作业日志信息,提高日志查询效率

  • 新增Executor日志查询能力;
  • 支持对日志按时间升降序排列,帮助用户更方便查询跟进任务情况;
  • 帮助用户通过日志更快定位问题,全程了解Spark作业执行情况;

新增数据引擎网络配置管理,统一管理网络访问能力

  • 新增对数据引擎网络关系配置管理,解决数据源联邦查询网络关联打通和管理问题,帮助用户更加方便的管理数据引擎网络及数据源访问;
  • 支持通过数据源的网络配置信息或VPC信息配置数据引擎网络;
  • 支持对配置的网络进行修改、删除操作;

分钟级管理数据引擎自动挂起规则,进一步优化成本

  • 新增数据引擎自动挂起触发时间周期配置能力,最小支持1分钟;
  • 帮助用户更精细化管理数据引擎挂起规则,进一步优化成本结构;

Presto内核数据引擎CBO能力开启,提升查询性能

  • Presto内核数据引擎默认开启CBO能力,支持根据统计信息调整 JOIN 表的顺序;
  • 支持用户进行更复杂的数据查询诉求;

Presto原生函数支持,扩展语法支持范围

  • 支持使用Presto原生函数;
  • Presto支持OFFSET能力;
  • 支持UPDATE SET WHERE语法;
  • 支持通过Hint参数 type_coercion 开启/关闭隐式转化能力,ture 为开启,false 为关闭。默认为 ture ;
  • 语法支持grouping及with cube用法;
  • 更多语法及查询优化,进一步扩大用户使用场景,帮助业务生产环境进行复杂业务查询;

推荐阅读

关注腾讯云大数据公众号

邀您探索数据的无限可能

点击“阅读原文”,了解相关产品最新动态

↓↓↓

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2022-09-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯云大数据 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 重点特性
    • 重点特性一:联邦查询分析增强,支持更多数据源
      • 重点特性二:新增网络配置管理模块,规范数据引擎网络访问
        • 重点特性四:支持分钟级数据引擎自动挂起规则,成本空间进一步优化
          • 联邦查询分析支持更多数据源,提供更友好的关联交互
            • 提升查询脚本分类管理能力
              • Spark内核支持与EMR的联邦查询分析
                • 丰富Spark作业日志信息,提高日志查询效率
                  • 新增数据引擎网络配置管理,统一管理网络访问能力
                    • 分钟级管理数据引擎自动挂起规则,进一步优化成本
                      • Presto内核数据引擎CBO能力开启,提升查询性能
                        • Presto原生函数支持,扩展语法支持范围
                        相关产品与服务
                        云数据库 SQL Server
                        腾讯云数据库 SQL Server (TencentDB for SQL Server)是业界最常用的商用数据库之一,对基于 Windows 架构的应用程序具有完美的支持。TencentDB for SQL Server 拥有微软正版授权,可持续为用户提供最新的功能,避免未授权使用软件的风险。具有即开即用、稳定可靠、安全运行、弹性扩缩等特点。
                        领券
                        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档