当今社会中的信息除了“多”,人们对于“效率”和“速度”的要求也越来越高。譬如,对于很多企业决策者来说,在当前的经济形势下需要尽一切可能降本增效。过去每周看看经营报表的习惯,现在慢慢转变为实时可视化分析企业当前的经营状况。
基于此,亚信安慧AntDB融合型数据库,为了支持用户对“实时性”的更高要求,通过原生的“流数据处理引擎”,从内核层面将流式计算与数据库进行了融合与创新。
11月3日-5日,由中国开源软件推进联盟PG分会(简称PG分会)主办的 “2023中国PostgreSQL数据库生态大会”圆满落幕 。会上,亚信安慧AntDB-T负责人洪建辉先生,带来了《AntDB融合型数据库:实时流数据处理引擎揭秘》的主题演讲。
以下为该活动的部分演讲内容:
流式数据库的价值和挑战
流式处理数据库是一种专门设计用于处理大量实时流数据的数据库,是实时分析、风险监控、网络检测和物联网 (IoT) 等延迟关键型应用程序的理想选择。但在过去几十年里,数据库作为信息的核心载体,对于实时数据的处理能力,却是建立在数据库引擎之外的。
因此,数据库融入流式数据处理能力,可以通过SQL+触发器对实时数据的处理逻辑与拓扑进行定义,是这几年行业中提出的全新课题。
在亚信安慧AntDB发展的十几年历程中,我们看到运营商大量对核心数据处理加工的业务场景。这些需求中有些能够很容易地使用传统技术满足,但还有一些一定需要采用流式计算等实时处理能力才能支持。
流式实时数仓是如何工作的?
流数据处理模式与传统数据库的内核设计有着极大的区别。其核心本质在于,传统数据库架构设计中,应用与数据库之间是“请求-响应“的关系,既业务发起SQL请求,数据库随即执行请求并返回结果。而流处理内核则是“订阅-推送“的模式,可以实时处理、实时推送结果给下游应用进行展示或入库。
亚信安慧AntDB做了大量从零开始的创新性探索与研究,于2022年底推出AntDB-S实时实时数仓,彻底将流式计算与传统交易、分析型数据存储进行了融合,让用户可以在数据库引擎内,通过标准SQL自由定义数据的结构以及实时处理逻辑。
亚信安慧AntDB流数据库的功能优势
技术堆栈简化:在实时流事件的处理上,AntDB流式处理一体引擎将大量的实时数据处理做到数仓内部,更进一步向通用事务靠拢。
标准SQL定义:传统流处理方式对于SQL 的处理很弱,还要写大量业务代码,而AntDB-S可以通过统一SQL语句进行处理,流的使用上更便捷。
统一数据接口:支持流批模式的转换,AntDB统一超融架构,实现了对外的接口统一,数据的采集与处理无需分开,流批都用SQL 即可全部搞定。
支持完整事务处理:传统流处理过程中不支持数据的修改,AntDB-S支持流处理中对数据的修改和事务操作。
实时结果更准确:通过分布式事务的ACID特性,解决实时流数据处理中,数据容灾和一致性的问题,可以精确判断数据故障点,完成流事件的矫正计算和重统计。
亚信安慧AntDB流数据库功能架构拆解
由上图可以看出,流数据库是把流处理功能融合进AntDB-T的SQL引擎中;把流数据的存储融合进AntDB-T的存储引擎;把流处理的进程体系结构融合进AntDB-T的进程体系结构中。
这样的超融合结构会带来一下几点优势:
技术栈简单,稳定性好。
学习和维护成本低,只需掌握数据库的使用和维护即可。
完全用SQL操作所有功能,使用简单方便。SQL是被实践证明了的最好的数据处理语言,能够快速响应业务的复杂多变性。
流数据处理支持数据UPDATE和DELETE、事务ACID、且可以流表JOIN。
关于亚信安慧AntDB数据库
AntDB数据库始于2008年,在运营商的核心系统上,为全国24个省份的10亿多用户提供在线服务,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行近十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。
领取专属 10元无门槛券
私享最新 技术干货