话不多说，干货奉上：GPT-4技术拆解（附下载）

北京时间3月15日GPT-4正式发布，支持图片、文字等多模态输入，以及文本输出。根据相关技术文档，1）模型架构（包括模型大小）、硬件、训练计算、数据集构造、训练方法等细节未公布；2）GPT-4于2022年8月完成训练，此后OpenAI一直在评估、对抗性测试并迭代和改进模型；3）OpenAI搭建了开源OpenAI Evals模型评估框架，支持现有准则和自定义准则。4）GPT-4 API已开放等待列表（waitlist），价格提升明显。实验结果表明，GPT-4在各种专业和学术基准上表现出了人类的水平。

GPT-4项目重点之一是构建大范围可预测的深度学习堆栈。堆栈（stack）能够通过评估小计算量模型的性能，准确预测大计算量模型的性能，减少训练成本。训练方法上，预训练之后，GPT-4采用了与 InstructGPT同样的方法进行基于人类反馈的强化学习，并添加了基于规则的奖励模型来进一步引导模型产生人类预期的结果。多模态输入上，支持图片和文本的多模态输入，但是，OpenAI未在技术文档中给出图片模态的相关技术细节。