大模型蒸馏有哪些主流框架和工具？

1. Hugging Face Transformers

Hugging Face Transformers 库提供了最广泛的蒸馏支持，包括蒸馏模型如 DistilBERT、DistilGPT 等，以及完整的微调和蒸馏脚本。DistilBERT 是该技术的标志性成果，参数量从 BERT 的 1.1 亿压缩至 6600 万，在 GLUE 基准测试中保持约 97% 的性能，推理速度提升约 60%。

2. 腾讯云 TI-ONE

腾讯云 TI-ONE 平台集成了企业级蒸馏工具链，支持 DeepSeek 等系列模型的蒸馏训练。平台提供开箱即用的蒸馏方案，覆盖多种常见应用场景的数据配比模板，支持全参数微调和 LoRA 高效微调。推理阶段集成自研 Angel 加速框架，支持在线 INT8 量化和多种量化加速方式。

3. Axolotl

Axolotl 是面向序列级蒸馏的高效训练框架，支持 QLoRA 等参数高效微调方法。该框架特别适用于大模型的链式思维蒸馏场景，可通过配置文件快速启动蒸馏训练流程。在 8 张 H100 GPU 上，7B 学生加 70B 教师的蒸馏训练速度可达每秒约 2 万个 token。

4. Unsloth 与 EasyDistill

Unsloth 专注于高效微调，通过内存优化技术使蒸馏训练能在单张消费级 GPU 上完成。EasyDistill 则提供了更高层的蒸馏抽象，自动化处理教师推理、数据过滤和学生训练的全流程。这些工具大大降低了蒸馏技术的入门门槛。