
环境：.NET 10.0.5 / Apple M4 / macOS arm64。实验代码在文末，全部零 API Key、本机可复现。

## 结论先行

- 10 万条 768 维向量：float32 占 293MB，float16 占 146.5MB（2 倍），int8 对称量化 73.6MB（4 倍）。
- 召回质量几乎不掉：top-10 重合率 float16 9.99/10，int8 9.80/10；分数漂移分别只有 6.2e-6 和 2.1e-4。
- 反直觉：拿量化后的向量做暴力扫描，反而比 float32 慢 4~9 倍——BCL 没有 Half/byte 的 SIMD 点积路径，手写循环挡死了向量化。
- 量化的正确用法：**省存储 + 粗筛召回**，精排回到 float32；或者干脆只把量化用在磁盘/网络传输上。

## 实验设置

合成聚类语料：500 个簇心，每条向量 = 随机簇心 + 0.35 高斯噪声，L2 归一化，共 10 万条 × 768 维（293MB）。100 个查询向量用 0.5 噪声生成（比库内样本更难）。固定随机种子 42。

三种存储：

- float32：原始。
- float16：C# `Half`，每元素 2 字节。
- int8：每向量对称量化，`scale = maxAbs / 127`，每个量化值带一个 float scale（每向量 768B + 4B）。

## 内存账单

| 格式 | 每向量 | 10 万条总量 | 压缩比 |
|---|---|---|---|
| float32 | 3072 B | 293.0 MB | 1.00x |
| float16 | 1536 B | 146.5 MB | 2.00x |
| int8+scale | 772 B | 73.6 MB | 3.98x |

两轮运行完全一致（这是纯算术，不是测量值）。

## 量化吞吐：int8 转换比 float16 还快

全量 10 万向量一次性转换，预热后计时，两轮中位数：

- float16：123~124ms，按输入字节数算 2362~2382 MB/s。
- int8：65~67ms，4392~4502 MB/s。

int8 反而快，原因是每元素只做一次乘法加四舍五入；`Half` 转换走的是浮点格式转换路径，单元素成本更高。首次建索引这一步对两个格式都不构成瓶颈。

## 召回质量：top-10 重合率和分数漂移

对 100 个查询，分别用三种索引算全量余弦（向量已归一化，点积即余弦），对比 float32 排序的 top-10：

| 指标 | float16 | int8 |
|---|---|---|
| top-10 平均重合 | 9.99 / 10 | 9.80 / 10 |
| 分数漂移（fp32 top-10 上的平均 \|Δcos\|） | 6.2e-6 | 2.1e-4 |

两轮运行逐位一致。float16 几乎无损；int8 每 500 次查询错位约 1 条，对召回场景完全可接受。**排序质量不是量化的问题，扫描速度才是。**

## 扫描延迟：量化向量直接扫，越省内存越慢

每个查询单独计时（100 个查询取中位），3 轮取最后一轮，两轮运行波动 <2%：

| 扫描方式 | p50 | 相对 float32 |
|---|---|---|
| float32（TensorPrimitives.Dot，SIMD） | 7.02 ms | 1.0x |
| float16 标量直乘 | 57.8~58.0 ms | 8.25x |
| float16 逐块转回 float32 再 Dot | 64.8~65.3 ms | 9.30x |
| int8 标量直乘 | 45.0 ms | 6.4x |
| int8 逐块反量化再 Dot | 28.7~28.9 ms | 4.1x |

"块转换"就是先把 768 个量化值还原进一个复用的 float 缓冲区，再调 `TensorPrimitives.Dot`。

慢的根因很清楚：`TensorPrimitives.Dot` 只有 float（和 double）的 SIMD 重载，`Half` 和 `byte/sbyte` 没有现成的点积路径。手写循环每元素一次转换一次乘加，M4 的 NEON 一点忙没帮上。内存省了 2~4 倍，带宽压力本该下降，却被标量循环的额外开销吃光还倒贴——这就是"省内存 = 更快"在这个场景不成立的原因。

（补充说明：float16 块转换比标量直乘还慢，因为转换本身也是标量循环，多了一趟缓存往返；除非转换能向量化，这条路目前没有收益。）

## 那量化该怎么用

实测给出的边界：

1. **存储和传输层量化是真收益**：4 倍内存、4392~4502 MB/s 的转换吞吐、质量只掉 2%。落盘、跨机器传 embedding、冷数据归档，放心用 int8。
2. **热路径扫描别拿量化向量硬扫**。要么保留 float32 热索引，要么上两阶段：量化索引粗筛（比如取 top-100）+ float32 精排。粗筛阶段排序质量够（重合 9.80/10），精排只处理 1% 的候选。
3. **想要 SIMD 化的 int8 点积**，BCL 目前要自己写 Vector<short>/AVX 路径，或者用推理引擎自带能力——那是另一篇文章的量。

## 可复现步骤

```bash
mkdir quantlab && cd quantlab
dotnet new console -n QuantLab
dotnet add package System.Numerics.Tensors
# 用文中实现替换 Program.cs（合成语料 + 三种量化 + 四项测试）
dotnet run -c Release
```

关键实现注意（每一条都是踩过的坑）：

- int8 量化值必须用 `sbyte` 存。用 `byte` 时负数会回绕（-5 变 251），召回率直接掉到 0/10，分数漂移 0.39——本文第一版就栽在这里。
- top-K 用固定长度的插入式选择，别对 10 万分数全量排序。
- 每次运行前预热；计时按查询单独停表取中位数，别用总时长除以查询数（首查询带 JIT 成本会拉偏）。


环境：.NET 10.0.5  Apple M4  macOS arm64。实验代码在文末，全部零 API Key、本机可复现。

embedding 量化实测：float16 和 int8 把内存省 2~4 倍，但拿量化向量直接扫描反而慢 4~9 倍

人工智能

算法

编程语言

.NET 10.0.5 on Apple M4 macOS arm64: 100k×768-dim float32 (293MB), float16 (146.5MB), int8 symmetric quantized (73.6MB) achieves 2x/4x memory reduction with negligible quality loss (top-10 overlap 9.99/10 and 9.80/10; score drift 6.2e-6 and 2.1e-4). However, brute-force scanning quantized vectors is

数据归档

代码解释

对象存储COS新用户低至1元！


文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

.NET 10.0.5 on Apple M4 macOS arm64: 100k×768-dim float32 (293MB), float16 (146.5MB), int8 symmetric quantized (73.6MB) achieves 2x/4x memory reduction with neg...

embedding 量化实测：float16 和 int8 把内存省 2~4 倍，但拿量化向量直接扫描反而慢 4~9 倍-腾讯云开发者社区-腾讯云

embedding 量化实测：float16 和 int8 把内存省 2~4 倍，但拿量化向量直接扫描反而慢 4~9 倍

embedding 量化实测：float16 和 int8 把内存省 2~4 倍，但拿量化向量直接扫描反而慢 4~9 倍

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐