首页
学习
活动
专区
圈层
工具
发布
技术百科首页 >大模型蒸馏 >大模型蒸馏有哪些主流框架和工具?

大模型蒸馏有哪些主流框架和工具?

词条归属:大模型蒸馏

1. Hugging Face Transformers

Hugging Face Transformers 库提供了最广泛的蒸馏支持,包括蒸馏模型如 DistilBERT、DistilGPT 等,以及完整的微调和蒸馏脚本。DistilBERT 是该技术的标志性成果,参数量从 BERT 的 1.1 亿压缩至 6600 万,在 GLUE 基准测试中保持约 97% 的性能,推理速度提升约 60%。

2. 腾讯云 TI-ONE

腾讯云 TI-ONE 平台集成了企业级蒸馏工具链,支持 DeepSeek 等系列模型的蒸馏训练。平台提供开箱即用的蒸馏方案,覆盖多种常见应用场景的数据配比模板,支持全参数微调和 LoRA 高效微调。推理阶段集成自研 Angel 加速框架,支持在线 INT8 量化和多种量化加速方式。

3. Axolotl

Axolotl 是面向序列级蒸馏的高效训练框架,支持 QLoRA 等参数高效微调方法。该框架特别适用于大模型的链式思维蒸馏场景,可通过配置文件快速启动蒸馏训练流程。在 8 张 H100 GPU 上,7B 学生加 70B 教师的蒸馏训练速度可达每秒约 2 万个 token。

4. Unsloth 与 EasyDistill

Unsloth 专注于高效微调,通过内存优化技术使蒸馏训练能在单张消费级 GPU 上完成。EasyDistill 则提供了更高层的蒸馏抽象,自动化处理教师推理、数据过滤和学生训练的全流程。这些工具大大降低了蒸馏技术的入门门槛。

相关文章
主流的深度学习模型有哪些?
作者:阿萨姆 | 普华永道 数据科学家 量子位 已获授权编辑发布 转载请联系原作者 深度学习大热以后各种模型层出不穷,很多朋友都在问到底什么是DNN、CNN和RNN,这么多个网络到底有什么不同,作用各是什么? 趁着回答《深度学习的主要分类是什么呀?这些网络cnn dbn dnm rnn是怎样的关系?》这个问题的机会,我也想介绍一下主流的神经网络模型。因为格式问题和传播原因,我把原回答内容在这篇文章中再次向大家介绍。 在更详细的介绍各种网络前,首先说明: 大部分神经网络都可以用深度(depth)和连接结构(c
量子位
2018-03-26
3.3K0
⽬前 主流的开源模型体系 有哪些?
目前主流的开源大语言模型(LLM)体系和生态主要可以分为几个方向,从模型研发主体和技术路线来看,大致如下(截至 2024 年):
福大大架构师每日一题
2025-12-19
2.9K0
我常用的大模型和Prompt有哪些?
以前提到过,我们公司鼓励大家多使用GPT这样的大模型,一方面能够提高工作效率,一方面使用的越多,越了解,越有可能发现应该怎么将其跟我们公司的产品结合起来。
panzhixiang
2024-10-30
5510
【大模型】大模型备案的限定领域有哪些?
大模型是一种机器学习中的模型,它通常用于处理大模型的数据集和复杂的任务。大模型因其出色的性能和表现备受关注。接下来就讨论以下大模型的一些限定领域都有哪些。
AI合规咨询专家
2025-08-26
5700
有哪些好用的GTD时间管理工具?主流7款大对比
在知识经济时代,GTD(Getting Things Done)时间管理理念已成为提升个人与团队效率的核心方法论。面对市场上纷繁复杂的GTD时间管理工具,如何找到真正适配需求的解决方案?
你掉的是这个金键盘还是银键盘
2025-06-19
4.4K0
点击加载更多
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
领券