微软开源DeepSpeed Chat，来训练一个自己的专属ChatGPT吧！

4月12日，微软宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed） 

据悉，Deep Speed Chat是基于微软Deep Speed深度学习优化库开发而成，具备训练、强化推理等功能，还使用了RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，成本却大幅度降低。例如，一个130亿参数的类ChatGPT模型，只需1.25小时就能完成训练。

简单来说，用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。

图片

产品演示:链接

微软为什么开源Deep Speed Chat

ChatGPT只用了几个月的时间便席卷全球，成为史上用户增长速度最快的消费级应用，对世界的经济发展、科技研发起到了重要的推动作用。很多企业、个人用户纷纷想参与到这场AI技术变革中，但由于庞大的资源、资金投入只能望而却步。

即便开源领域推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等优秀的类ChatGPT项目，仍缺乏一个支持端到端的基于RLHF的规模化系统，使得训练强大的类ChatGPT模型非常艰难。

图片

例如，使用上述开源项目训练一个67亿参数的类ChatGPT模型，通常需要昂贵的多卡至多节点的GPU集群，但这些资源对大多数科学家、小型企业、个人开发者而言难以获取。

即便是拥有这样的资源，现有的开源系统的训练效率通常还不到，这些机器所能达到的最大效率的5% 。

图片

现在，通过Deep Speed Chat解决资源、算法等难题，轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。

Deep Speed Chat 技术简单介绍

ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式，这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在，通过Deep Speed Chat可以突破这些训练瓶颈，达到最佳效果。

Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。

简化 ChatGPT 类型模型的训练和强化推理： 只需一个脚本即可实现多个训练步骤，包括使用Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤，生成属于自己的类ChatGPT模型。此外，还提供了一个易于使用的推理API，用于在模型训练后测试对话性能。

图片

Deep Speed-RLHF 模块： DeepSpeed-RLHF 复刻了InstructGPT 论文中的训练模式，并确保包括：a) 监督微调（SFT），b) 奖励模型微调和 c) 基于人类反馈的强化学习（RLHF）在内的三个步骤与其对应。此外，还提供了数据抽象和混合功能，以支持用户使用多个不同来源的数据源进行训练。

图片

DeepSpeed-RLHF 系统： 将DeepSpeed的训练和推理能力整合到统一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用于RLHF 训练。DeepSpeed-HE 能够在RLHF中无缝地在推理和训练模式之间切换，使其能够利用来自 DeepSpeed-Inference 的各种优化。

例如，张量并行计算和高性能CUDA算子进行语言生成，同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE可以自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。

此外，Deep Speed Chat在成本、效率、扩展性等方面非常优秀。

高效且节省成本： 在A上只需9小时即可训练一个OPT-13B模型，只需18小时即可训练一个 OPT-30B模型。这两种训练分别花费不到300美元和600 美元。

图片

卓越扩展性： 能够支持训练拥有数千亿参数的模型，并在多节点多 GPU 系统上展现出卓越的扩展性。因此，即使是一个拥有 130 亿参数的模型，也只需 1.25 小时就能完成训练。而对于拥1750亿参数的模型，使用Deep Speed Chat进行训练也只需不到一天的时间。

注意：在上训练时由于GPU不同，所以训练时间和费用也各不相同。

全民ChatGPT时代来了

做个不太恰当的比喻，微软此次开源Deep Speed Chat就像当年的互联网，为了提升发展速率降低了台式机的价格，使得普通用户也能拥有自己的电脑。

只有参与的用户多了，整个行业生态才能快速壮大发展，所以，微软此次开源对整个ChatGPT生态发展起到了至关重要的推动作用，使得人人都能拥有自己的ChatGPT。

目前，ChatGPT处于初级发展阶段，存在安全隐患、数据隐私、道德等问题。相信随着参与用户的增多，这些难题将会被有效的解决，从而为全球经济发展做出贡献。