TDSQL Nexa 将宽表、分析、搜索等多模计算能力融合在一套数据库系统中,各引擎原生打通、能力按需组合编排,帮助您以更简单的架构和更低的综合成本构建数据应用。本文介绍 TDSQL Nexa 针对的核心痛点、对应的解法,以及各引擎的特色能力与性能表现。
行业痛点:碎片化的数据架构
长期以来,构建一个数据应用意味着先做一道选择题:交易数据放进事务数据库,日志与文本交给 Elasticsearch,报表分析再搭一套数仓,语义检索还要额外引入向量库。每一种负载都能找到一个合适的数据库,但把它们拼在一起,得到的却是一套离散、碎片化的数据方案:数据被复制成多份,散落在不同系统中,靠 ETL 和消息队列艰难地缝合。系统复杂度、运维成本与故障概率,都随着组件数量的增加而被成倍放大。
进入 Agent 时代,这种碎片化的代价被进一步放大。Agent 需要的是统一、一致的上下文,以及一套可以直接调用的数据处理工具;而面对多套语义各异、口径不一、时效参差的数据系统,Agent 既难以获得完整的数据视图,也难以可靠地完成数据操作。数据层的割裂,最终会拖慢整个业务的迭代与演进速度。
TDSQL Nexa 的解法:一个数据库承载完整数据应用
多模统一引擎:宽表、分析、搜索与 AI 计算等引擎开箱即用,覆盖数据应用所需的主要负载类型。业务无需为一条数据链路拼装多套系统,可以在一个数据库里完成整个数据应用的构建。
单事务多模写入:多模数据可在单个事务内完成写入,从源头保障各引擎间的数据一致性,免除跨系统同步链路及其带来的一致性风险。
原生打通,免除 ETL:各引擎在产品内原生打通,数据变更经 NTS 引擎实时流转,写入即可被检索、可被分析;各引擎既可以作为彼此的索引相互配合,也可以组合编排后统一对外提供服务,应用只需表达需求,无需关心由哪个引擎执行、如何协同。
各引擎特色能力
搜索引擎
TDSQL Nexa 提供高性能、高可靠的分布式搜索引擎,兼容 OpenSearch、Elasticsearch 标准接口,支持 PB 级向量与文档数据的存储与检索。
分布式架构,水平扩展:数据按分片水平拆分、多副本部署,支持在线扩缩容,存储容量与读写吞吐随节点增加线性提升。
多类索引协同:提供面向高维向量的近邻索引(支持 HNSW、IVF 等索引算法与多种量化压缩方式),以及倒排索引、列存正排与多维数值索引,支撑语义检索、全文检索、范围查询与多条件组合过滤。
与多模引擎无缝打通:与分析引擎组合,可在检索结果之上直接完成复杂聚合与多维分析;与宽表引擎组合,可为高并发在线业务补齐事务处理与点查能力;数据变更实时同步,写入即可被检索。
生态兼容:提供兼容 Elasticsearch、OpenSearch 的 HTTP 接口与 SQL 接口,既有应用与工具链可平滑迁移。
AI 计算引擎
AI 计算引擎是全托管数据处理引擎,向上提供作业管理与工作流编排、分布式计算运行时,向下统一纳管 CPU/GPU 异构算力。
全托管,开箱即用:集群的搭建、扩缩容、升级与故障恢复均由平台托管,提交作业即可获得弹性算力,无需自行运维计算集群。
与多模引擎原生打通:直接读取库内多模存储中的原始数据,处理产生的向量、标签与元数据可直接写入搜索引擎与宽表引擎,数据加工与数据服务在同一套系统内衔接。
多模态数据处理算子:面向非结构化数据提供开箱即用的分布式处理能力,覆盖文档解析拆分、视频抽帧与拆条、音频转码、数据去重、质量过滤、敏感信息脱敏、模型推理打标签与 Embedding 化等常见数据加工环节。
全链路任务编排:以 Kubernetes 原生方式串联数据处理、训练、评测与发布环节,形成可复用、可版本化的流水线,并配套全链路的运行监控与诊断分析。
宽表引擎
宽表引擎面向海量结构化与半结构化数据,单表可支撑万列、千亿行规模,在百万级并发下保持毫秒级的数据变更与查询性能。
多主写入,弹性扩展:每个节点均可承担写入,集群吞吐随节点数线性提升;扩缩容透明在线,规模可从双节点平滑扩展至数百节点。
动态列,灵活承载稀疏数据:单表支持万列级动态列,新增列无需预定义表结构或执行 DDL,未赋值的列不占用存储,适合标签、特征、元数据等宽而稀疏的数据。
亲和性调度,降低事务开销:将主键、索引与关联表数据智能编排至同一节点,使原本需跨节点协调的分布式事务退化为单机事务,兼顾一致性与性能。
资源对等,成本更优:节点角色对等,避免备节点资源闲置;存储引擎结合智能压缩,以更高压缩率承载海量数据。
分析引擎
分析引擎面向大数据量复杂查询,采用列式存储与高压缩比,提供兼容 MySQL 的访问接口,可直接承载复杂报表、多维聚合等分析场景。
分布式向量化并行计算:查询被拆分为并行子任务在多节点间同时执行;节点内采用向量化执行,按列批量处理数据并充分利用 CPU 的 SIMD 指令与缓存局部性,加速大数据量下的复杂查询。
完全存算分离,多级缓存加速:计算与存储彻底解耦,计算资源可独立弹性伸缩而无需搬迁数据;构建“对象存储—本地磁盘缓存—内存”多级缓存结构,热数据逐级上浮,兼顾对象存储的低成本与接近本地存储的访问性能。
生态开放:底层存储采用 Iceberg 开放表格式,数据以开放标准落盘,第三方引擎可直接访问同一份数据,避免数据孤岛与格式锁定,让数据自然融入既有数据生态。
性能表现
搜索引擎
以下为基于 VectorDBBench 的测试结果,数据集 openai_large_5m(500万条、1536维向量),测试机型64核/128GB内存。
产品与配置 | 向量索引大小 | Top-100时延 | Top-100召回率 | Top-1000时延 | Top-1000召回率 |
Nexa HNSW | 30G | 5.4ms | 95.70% | 22.6ms | 95.30% |
Nexa HNSW + SQ1 | 0.72G | 5.4ms | 91.60% | 28.0ms | 94.70% |
Nexa HNSW + SQ16 | 16G | 6ms | 95.30% | 25.2ms | 95.30% |
PostgreSQL HNSW | 38G | 12.3ms | 96.40% | 41.6ms | 95.20% |
Milvus HNSW | 35.4G | 8.7ms | 99.60% | 21.6ms | 99.90% |
Nexa HNSW 的 Top - 100 平均时延为5.4ms,低于同测试中的 Milvus(8.7ms)与 PostgreSQL(12.3ms);借助 SQ1 量化,向量索引可从30G压缩至0.72G(约42倍压缩比),Top - 100检索时延保持不变(5.4ms);SQ16量化下召回率与时延几乎无损。业务可按存储成本与召回精度的权衡灵活选择索引配置。
AI 计算引擎
指标 | 表现 | 实现方式 |
作业启动延时 | P90小于10秒 | 底层资源提前预热,高频镜像自动缓存 |
作业提交吞吐 | 100 Job/s | 提交链路解耦,多消费者并行拉取 |
单地域作业规模 | 10万作业稳定运行 | 持久化状态管理,分层队列降低大规模任务的管理开销 |
作业从提交到开始执行的 P90 延时控制在10秒以内,减少调试迭代中的等待;作业提交吞吐可达100 Job/s,可承载大批量数据处理任务的集中提交;单地域可支撑10万级作业稳定运行,任务规模增长时管理开销保持可控。
宽表引擎
TPC-C 测试(16核/32GB内存机型):
线程数 | tpmTOTAL | tpmC(NewOrders) |
64 | 208,948.14 | 94,035.97 |
1,024 | 434,737.57 | 195,442.64 |
在64 - 1,024线程测试范围内呈上升趋势:64线程下 tpmC 达9.4万,1,024线程下提升至19.5万,高并发下性能表现稳定无回落。
YCSB 测试(4节点、每节点16核/32GB,3亿行 × 100列):纯读场景(Workload C)128并发下 QPS 约6.8万、平均延迟约1.9毫秒;单列写入场景1,024并发下 QPS 约10万、平均延迟约10毫秒,海量数据规模下保持稳定的读写表现。
分析引擎
TPC-H 测试(3节点、每节点32核/64GB):22条查询总耗时24.732秒,平均单条耗时约1.12秒,在复杂多表关联与聚合场景下保持稳定的低延迟表现。
说明:
以上性能数据均在特定测试环境与数据规模下测得,实际表现因业务负载、资源配置与环境差异而不同。测试时间:2026年9月。
痛点与收益对照
行业痛点 | TDSQL Nexa 的解法 | 收益 |
多套数据库堆叠,架构复杂 | 多模统一引擎 | 在泛训练、企业级 Agent、搜广推等场景下,架构简化,综合拥有成本下降 |
数据孤岛与一致性问题 | 单事务内多模写入,引擎原生打通 | 免除跨系统同步链路,多引擎保持一致数据视图 |
AI 检索效果与工程落地割裂 | 向量与全文混合检索,内置多模态数据处理算子 | 检索召回与精度可灵活权衡,数据加工与数据服务库内闭环 |
规模增长后的性能与成本压力 | 分布式弹性扩展,结合存储压缩优化 | 容量与吞吐随节点线性扩展,量化压缩与列存高压缩比降低存储成本 |
企业级安全与合规要求 | 企业级数据安全与治理体系 | 血缘跟踪、权限管理与资产盘点统一管控 |