磁盘交换方案

最近更新时间:2025-12-24 20:13:12

我的收藏

概述

腾讯云向量数据库 V3.0 推出稀疏向量磁盘交换方案,专为处理高维稀疏向量数据设计。该方案通过智能数据管理机制,将低频访问的稀疏向量及倒排索引从内存动态换出至磁盘,在保持检索性能稳定的前提下,显著降低稀疏向量的内存占用与整体资源成本,为混合检索场景提供高性价比解决方案。

适用场景

稀疏向量规模大、内存压力明显
当稀疏向量数据规模较大时,索引占用大量内存导致系统压力明显。磁盘交换方案将低频访问数据从内存智能换出至磁盘,优化内存成本。
混合检索架构的成本优化
对于稀疏与稠密向量混合检索架构,磁盘交换方案通过压缩稀疏向量存储成本,在保证检索体验的前提下优化资源分配,让整体检索性价比更高。
冷热数据特征明显
在稀疏向量访问存在明显冷热数据分布的场景,开启磁盘交换方案后,内存空间主要用于保留高频稀疏向量数据,低频数据会常驻磁盘,从而实现降本。

使用限制

分类说明
具体信息
版本要求
V3.0及之后版本支持稀疏向量磁盘交换方案。
开启/切换方式
新建集合:在稀疏向量字段参数中设置 diskSwapEnabled=true,开启磁盘交换方式。具体信息,请参见 /collection/create
已创建集合:通过 /index/modifyVectorIndex 接口的 diskSwapEnabled 参数,触发索引重建流程,可将内存存储转换为磁盘交换方式。
说明:
暂不支持从磁盘交换方式切换为内存方式。
容量增强版
容量增强版实例暂不支持开启该能力。

使用示例

示例1:创建集合时启用磁盘交换

新建集合时,希望使用磁盘交换方案,降低稀疏向量索引的内存占用,实现整体成本优化。
curl -i -X POST \\
-H 'Content-Type: application/json' \\
-H 'Authorization: Bearer account=root&api_key=A5VOgsMpGWJhUI0WmUbY********************' \\
http://10.0.X.X:80/collection/create \\
-d '{
"database": "db-test",
"collection": "book-vector",
"replicaNum": 1,
"shardNum": 1,
"description": "this is the collection description",
"indexes": [
{
"fieldName": "id",
"fieldType": "string",
"indexType": "primaryKey"
},
{
"fieldName": "sparse_vector",
"fieldType": "sparseVector",
"indexType": "inverted",
"metricType": "IP",
"diskSwapEnabled":true
},
{
"fieldName": "bookName",
"fieldType": "string",
"indexType": "filter"
}
]
}'

示例2:在线切换稀疏向量索引存储方式

存量集合已创建但出现以下诉求时,可进行在线切换:
成本优化驱动:当稀疏向量索引内存成本过高时,从内存模式迁移至磁盘交换方案,大幅降低资源投入。
性能评估需求:在压测/灰度中对比两种模式的资源占用与检索效果,基于实际数据确定最佳配置。
业务动态调整:根据业务变化灵活切换模式,冷数据增多时切至磁盘模式降成本,而在高性能需求时切回内存方式。
curl -i -X POST \\
-H 'Content-Type: application/json' \\
-H 'Authorization: Bearer account=root&api_key=A5VOgsMpGWJhUI0WmUbY********************' \\
http://10.0.X.X:80/index/modifyVectorIndex \\
-d '{
"database": "db-test",
"collection": "book-vector",
"vectorIndexes": [
{
"fieldName": "sparse_vector",
"diskSwapEnabled": true
}
],
"rebuildRules": {
"dropBeforeRebuild": true,
"throttle": 1
}
}