首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
技术百科首页 >TDSQL-A PostgreSQL版

TDSQL-A PostgreSQL版

修改于 2023-08-31 09:32:37
1834
概述

TDSQL-A PostgreSQL(TDSQL-A for PostgreSQL)是腾讯自主研发的分布式分析型数据库系统,产品采用无共享架构,具有自研高压缩比列式存储引擎和高性能的新一代向量化执行引擎,支持行列混合存储。支持完整的分布式事务 ACID 能力,全面兼容 PostgreSQL,高度兼容 Oracle 语法,支持多级容灾以及高安全能力,为您提供高效的海量数据存储和在线分析处理能力。适用于 GB ~ PB 级的海量 OLAP 场景。

TDSQL-A PostgreSQL版的产品架构是什么?

TDSQL-A PostgreSQL版 采用分布式无共享(share nothing)架构,节点之间相应独立,各自处理自己的数据,处理后的结果可能向上层汇总或在节点间流转,各处理单元之间通过网络协议进行通信,并行处理和扩展能力更好,这也意味着只需要简单的 x86 或 arm 服务器就可以部署 TDSQL-A PostgreSQL版 数据库集群。架构图如下:

各个模块说明如下:

  • Coordinator:协调节点(简称 CN),对外提供接口,负责数据的分发和查询规划,多个节点位置对等,每个节点都提供相同的数据库视图;在功能上 CN 只存储系统的全局元数据,并不存储实际的业务数据。
  • Datanode:数据节点(简称 DN),处理存储本节点相关的元数据,每个节点还存储业务数据的分片。在功能上,DN 负责完成执行协调节点分发的执行请求。
  • GTM:全局事务管理器(Global Transaction Manager,GTM),负责管理集群事务信息,同时管理集群的全局对象,如序列等。
  • Data Forward Bus:集群数据交互总线,集群交互总线由各个服务器上的 FN(Forward Node)节点组成,加入 FN 的主要目的在于减少 DN 之间、CN 和 DN 之间数据交换时创建的连接,从而保证大规模集群下连接不是瓶颈。

TDSQL-A PostgreSQL版的产品优势是什么?

分布式事务全局一致性

TDSQL-A PostgreSQL版 引入全局事务管理节点(Global Transaction Manager,GTM)来专门处理分布式事务一致性,通过即两阶段提交(Two Phase Commit)和全局事务管理策略来保证在全分布式环境下的事务一致性。同时 TDSQL-A PostgreSQL版 提供了分布式事务可靠性保证机制来避免资源阻塞、数据不一致和协调节点宕机等问题。

SQL 高兼容度

TDSQL-A PostgreSQL版 兼容 SQL2011 规范, 在 SQL 兼容性上具备很大优势,兼容绝大多数的 PostgreSQL 语法,包括复杂查询、外键、触发器、视图、存储过程等,可满足大部分企业用户的需求。同时 TDSQL-A PostgreSQL版 还兼容大部分的 Oracle 数据类型、函数,此特性可方便 Oracle 数仓业务迁移到 TDSQL-A PostgreSQL版 数据库。

行列混合存储

TDSQL-A PostgreSQL版 在支持兼容 PostgreSQL 生态的行式存储基础上,还自研了列式存储,提供完整的列存储能力。业务可以根据需要对写入数据库中的数据选择对应存储格式。 TDSQL-A PostgreSQL版 列存储支持强大的压缩能力,包括透明压缩和轻量级压缩,透明压缩支持 zlib,zstd 等压缩算法,轻量级压缩算法支持 delta,rle,bitpack 算法,可根据数据的特征进行高效压缩,压缩比高达400+。

高效复杂查询

TDSQL-A PostgreSQL版 自研新一代向量化执行引擎,对于复杂查询有高效的处理能力,能实现万亿数据关联分析秒级响应,性能相比开源和传统的数据仓库提升数倍至数百倍;具备强大的 OLAP 分析能力。

多级安全策略

传统数据库系统的超级用户权限极大,不容易受到制约,也不利于数据库安全体系的建立,TDSQL-A PostgreSQL版 的三权分立体系,将传统数据库管理员 DBA 的角色分解为安全管理员、审计管理员、数据管理员三个相互独立的角色。安全管理员可以针对业务需求,配置数据加密规则对数据进行加密,保证数据不被泄露。支持数据透明加密,数据脱敏等安全特性。

丰富的周边生态

  • 全面拥抱 PostgreSQL 生态,持续跟进社区发展。支持丰富的生态工具,包括 PostGis 组件,支持非结构化数据类型 JSON;支持 FDW 外表能力和其他数据源进行互通。
  • 支持通过数据迁移服务或产品将其他数据源的数据同步到 TDSQL-A PostgreSQL版。

TDSQL-A PostgreSQL版的应用场景有哪些?

数据仓库

TDSQL-A PostgreSQL版 借助 share nothing 架构,可在线线性平滑地扩展集群规模,具备 GB级 - PB级 数据支撑能力,全并行架构和向量化执行引擎可以高效处理百亿行多表连接查询,适用于操作数据存储 ODS(Operational Data Store)、企业数据仓库 EDW(Enterprise Data Warehouse)、数据集市 DM(Data Mart)等。

海量存储在线实时分析

互联网化的用户激增,伴随着系统的长期运行,数据累积越来越多,给部分行业(如支付业务,因为监管要求,数据必须永久保存)带来的存储成本,以及大数据量场景的复杂关联查询性能问题等亟待解决。

TDSQL-A PostgreSQL版 的在线线性扩容能力,能够按需扩充集群,保证集群可以支撑到 PB 级别的存储,同时结合业务历史数据不常被访问的特点,可将历史数据自动转移到低廉的存储设备上,兼顾性能和成本。

数据高安全依赖型系统

在民生、金融等行业里,存储了非常多的个人基本信息和金融交易数据,保障数据的安全性是首要考虑的问题,一旦发生数据丢失或者泄露,会造成不可估量的损失,因此该类业务对于存储核心数据的数据库系统安全非常依赖,包括数据查询结果加密,数据存储加密,以及事后审计需求。

TDSQL-A PostgreSQL版 能够提供多级安全策略来保障该类高安全依赖型系统的数据安全

多点汇聚业务系统

银行、大型国企的组织架构通常采用总部-分部-分支的架构,其某些核心 IT 系统建设也采用总部-分部-分支模式,且各个分支采用的数据库不同,随着业务互通、人员互通、信息互通等需求越来越强烈,业务逐渐向总部聚合,因此能否高效的进行数据汇聚,是系统一个很重要的考量指标。

TDSQL-A PostgreSQL版 具备高效的异构数据库复制能力,让数据能够很好的在多个数据库中实现共享。

去 O 场景

近些年来各行各业的 IT 系统兴起了去 IOE 的浪潮,其中去 O 是相对较难的一项。

TDSQL-A PostgreSQL版 作为高扩展性的数据库集群,同时兼容 PostgreSQL 和大部分 Oracle 语法,另外 TDSQL-A PostgreSQL版 也支持存储过程、窗口函数、非结构化数据等诸多企业级特性,使得 TDSQL-A PostgreSQL版 成为去 O 的极佳选择。在替换 Oracle 数仓应用的场景下,使用 TDSQL-A PostgreSQL版 可以很好地减少迁移成本。

相关文章
  • 【推荐】TDSQL-A PostgreSQL 版 - 新品上线!
    1.1K
  • 5月18发布会,这次TDSQL又有什么大动作?
    882
  • 数据库企业级能力国产化,6月10日一探究竟!
    766
  • 在线畅游腾讯云PostgreSQL家族,明天见!
    1.7K
  • 腾讯云在PostgreSQL领域的‘‘再次突破’’
    2.5K
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券