业务分析场景,通常会有2个或多个表关联(JOIN)的逻辑,此逻辑在单机模式中是一个简单的操作,但在集群模式下,由于数据分布在1个或多个物理节点中,处理会相对复杂。在很多分布式解决方案中,JOIN 会把数据拉取到一个节点,进行关联计算,不仅耗费了大量网络资源,且语句的执行耗时会很高。
TDSQL PostgreSQL版 通过如下方式对分布式 JOIN 进行高效计算,基于高效的全局查询计划和数据重分布的技术支撑,TDSQL PostgreSQL版 能轻易发挥并行计算的优势,高效完成 JOIN 过程。
在执行方式上,协调节点接收到用户的 SQL 请求,根据收集的集群统计信息,生成最优的集群级分布式查询计划,并下发到参与计算的数据节点上进行执行,即协调节点下发的是执行计划,数据节点负责执行该计划。
在数据交互上,数据节点之间建立了高效数据交换通道,可以高效的交换数据,数据交换的过程在 TDSQL PostgreSQL版 里称之数据重分布(Data Redistribution)。
TDSQL PostgreSQL版 在节点内部采用了并行计算,同时启动多个进程来协同完成一个查询,可充分利用服务器的多核处理能力来快速、高效地完成查询。通常情况下,TDSQL PostgreSQL版 会启动多个进程来完成查询,查询时间会大大缩短,如果有更多的资源可供使用,查询时间则会呈线性优化。 TDSQL PostgreSQL版 会根据查询表大小来决定是否进行并行查询,表的数据量超过阈值后,才会采用并行计算,当需要并行计算时,会根据表大小得出并行度,即需要的进程个数。
为增加分布式数据库系统的易用性,TDSQL PostgreSQL版 提供分布式的全局实时会话分析和锁分析功能,该功能展示当前分布式数据库系统中实时会话详情,包含后端 PID、SQL 文本、客户端 IP、状态、运行时长等关键字段,帮助用户准确判断系统当前的运行状态。同时,提供 kill 会话的功能,用户能基于业务运行状态分析并自助完成 kill。
TDSQL PostgreSQL版 同时支持锁分析功能,展示当前数据库系统中被阻塞的会话的详情,用户可以基于系统运行情况完成自助终止操作。
另外,TDSQL PostgreSQL版 支持数据库系统慢日志的查询和下载,以便用户能定位出当前数据库的性能阻塞点。
TDSQL PostgreSQL版 在多个维度保证集群的容灾能力:
强同步复制:TDSQL PostgreSQL版 支持强同步复制,在节点级保证每个节点的主从数据完全一致,是整个容灾体系的基础,当主节点(Master)发生故障时,数据库可切换到从节点(Slave)提供服务且无任何数据丢失。强同步机制要求用户请求发生并且从节点写入日志成功后,才给用户返回成功信息,保证主从节点的数据时刻一致。
主从高可用:TDSQL PostgreSQL版 主从高可用方案主要通过每组节点的多副本冗余,来实现服务不中断或很短时间的中断,当一组节点的主节点出现故障不可恢复,将自动从对应的备节点中选出新的主节点工作。
在主从高可用基础上 TDSQL PostgreSQL版 支持:
TDSQL PostgreSQL版 支持基于强同步的高可用方案,主节点故障时将自动选出最优从节点立即顶替工作,切换过程对用户透明,且不改变访问 IP。TDSQL PostgreSQL版 对系统组件支持7 * 24小时持续监控,发生故障时,TDSQL PostgreSQL版 将自动重启节点或者隔离节点,从从节点选出新主节点提供服务。
基于时间点的恢复功能
TDSQL PostgreSQL版 支持基于备份在事务一致性的时间点恢复数据,防止误操作带来的数据丢失。备份分为全量备份(冷备)和增量备份(xlog 备份):
TDSQL PostgreSQL版 引入全局事务管理节点(Global Transaction Manager,GTM)来专门处理分布式事务一致性,通过拥有自主专利的分布式事务一致性技术,即两阶段提交(Two Phase Commit)和全局时钟(Global Timestamp)策略来保证在全分布式环境下的事务一致性。同时 TDSQL PostgreSQL版 提供了分布式事务可靠性保证机制来避免资源阻塞、数据不一致和协调节点宕机等问题。
TDSQL PostgreSQL版 在 SQL 兼容性上具备很大优势,兼容绝大多数的 PostgreSQL 语法,包括复杂查询、外键、触发器、视图、存储过程等,可满足大部分企业用户的需求。同时 TDSQL PostgreSQL版 还高度兼容大部分的 Oracle 数据类型、函数、PL/SQL 特性。
TDSQL PostgreSQL版 经过专门设计充分的支持 HTAP,同时具备高效的 OLTP 处理能力和一定规模的 OLAP 能力,降低业务复杂度和成本。
数据库系统应用中,OLTP 场景涉及数据量小,但要求实时返回,OLAP 类场景数据量和计算量大,但对实时性要求较低。通用方案是业务将 OLAP 和 OLTP 场景分别用对应的系统来支撑,虽解决了性能问题,但给业务带来了存储成本的上升以及业务高昂的改造成本,同时系统间数据同步容易造成数据出错等问题。
TDSQL PostgreSQL版 经过专门设计能很好的支持 HTAP,同时具备高效的 OLTP 处理能力和海量的 OLAP 能力,降低业务复杂度和业务成本。
随着物联网的到来,很多的传感器接入数据,如热点 Wi-Fi 数据、车辆行驶数轨迹数据等,都包含一些经纬度定位信息,结合这些位置信息和我们已有的地理信息进行关联分析,依托 TDSQL PostgreSQL版 先进的开源地理信息引擎 PostGIS,可以提供丰富高效的地理信息处理能力。
随着互联网、移动互联网、电商等业务的蓬勃发展,用户不断增长,给企业的 IT 系统带来了严峻的挑战,如何利用技术手段使得系统可以并行处理更多的请求,降低延迟和响应时间,提高性能和用户体验,成为各大企业必须解决的难题。
面对流量高峰,TDSQL PostgreSQL版 借助 share nothing 架构,可在线线性平滑地扩展集群规模,从容应对高并发场景,同时 TDSQL PostgreSQL版 支持全局事务一致性,保证在高并发场景下的事务一致性。
互联网化的用户激增,伴随着系统的长期运行,数据累积越来越多,给部分行业(如支付业务,因为监管要求,数据必须永久保存)带来的存储成本,以及大数据量场景的性能问题等亟待解决。
TDSQL PostgreSQL版 的在线线性扩容能力,能够按需扩充集群,保证集群可以支撑到 PB 级别的存储,同时结合业务历史数据不常被访问的特点,可将历史数据自动转移到廉价存储设备上,兼顾性能和成本。
银行、大型国企的组织架构通常采用总部-分部-分支的架构,其某些核心 IT 系统建设也采用总部-分部-分支模式,且各个分支采用的数据库不同,随着业务互通、人员互通、信息互通等需求越来越强烈,业务逐渐向总部聚合,因此能否高效的进行数据汇聚,是系统一个很重要的考量指标。
TDSQL PostgreSQL版 具备高效的异构数据库复制能力,让数据能够很好的在多个数据库中实现共享。
TDSQL PostgreSQL版(Oracle 兼容版)提供高度的 Oracle 语法兼容能力,方便客户便捷地将客户原先运行在 Oracle 的应用系统迁移到本产品上来。应用无须进行过多的应用改造。