微软工程师带你解密大模型 ChatGPT

传统认知里，我们觉得难以被替代的创意、研究、代码类工作，都有可能受到这位背靠海量高质量参数的AI新贵的挑战。

ChatGPT 如何为过亿用户创造 Wow moment 的？其背后 OpenAI 这家公司又是何方来历，为何可以一骑绝尘，独领风骚？

▍OpenAI 与微软

2015 年 12 ⽉

Elon Musk 和 Greg Brockman（前 Stripe CTO，现董事长&总裁）、Sam Altman（前 YC 总裁，现 CEO） 以及 Ilya Sutskever （师从神经网络之父 Geoffery Hinton，现首席科学家）等人在旧金山创立 OpenAI。

2018 年

OpenAI 与 Microsoft 合作，推出了 Azure AI Platform，这是⼀个新的项⽬，旨在让开发⼈员更容易构建和部署 AI 应⽤程序。

2019 年 7 月

微软向 OpenAI 注资10亿美元。这笔战略投资使微软 Azure 成为 OpenAI 的“独家”云计算服务提供商。

2022 年 11 月 30 日

OpenAI 发布 ChatGPT，一周时间内吸引过百万用户，可回答知识性与开放性问题，也可根据上下文持续互动，可创作流畅的诗歌、小说，乃至代码内容。

2023 年 1 月

微软宣布以 290 亿美元估值加注投资 OpenAI 100 亿美元，其旗下所有产品将全线整合 ChatGPT，除此前宣布的搜索引擎 Bing、Office 外，微软还将在云计算平台 Azure 中整合 ChatGPT，Azure 的 OpenAI 服务将允许开发者访问 AI 模型。微软 CEO 纳德拉表示，微软的的每个产品都将具备相同的 AI 能力，彻底改头换面。

OpenAI 商业模式| 图源：FourWeekMBA Blog

▍ChatGPT 能做什么

ChatGPT 能结合不同的场景做不同的事，拯救了万千网友，让我们来看看它给出的10个回答吧！

• 按照人提出的问题或者指令给予回复的能力

ChatGPT 除了可以用狭义的基于「问答」形式交互以外，还能够按照输入的要求进行回复。

例如，在应对「文本生成」这类指令式的要求时，它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」，更是一种可以用自然语言来交互的文字处理工具。

• 文字创作职业的效率倍增

ChatGPT 的核心能力在于文本输出，包含优质的逻辑，举例与论述，这对于所有需要文本输出的办公室白领职业都有所影响，可以预见的是，未来能灵活运用的 AIGC 的创作者将具备更强的生产力与职场竞争力。

• 强大的编程能力

目前 ChatGPT 已显示出强大的编程能力，甚至可以输出完整的 APP 编程，且在 debug 上也有所建树，程序员完全可以利用 ChatGPT 来搭建基础架构，并在其基础上通过不断提示新的需求来让 ChatGPT 优化代码或者人工优化代码。

▍ChatGPT 背后的大模型

• “模型”是什么？“大”在哪里？

2018年，OpenAI 出品了一个初代 GPT（ Generative Pre-Training） 模型。

GPT 主要出论文《Improving Language Understanding by Generative Pre-Training》，GPT 是"Generative Pre-Training"的简称，从名字看其含义是指的生成式的预训练。

简单地说，语言模型就是用来计算一个句子的概率的模型，也就是判断一句话是否是“人话”的概率？就像下图的“提示语”为古诗“床前明月”，输入模型，根据概率判断输出“光”或者“亮”等其他字。由于现实生活中，“光”字出现的概率最大，所以模型会输出“光”字。

从 2001 年，首次使用神经网络对自然语言进行建模，根据前 N 个词对第 N+1 个词进行预测；2013 年出现了一种新的训练方法，使用自然标签，不需要数据标注，提升了词嵌入的效果，在各种任务中使用通用知识成为主流。随后慢慢发展出了基于 Transformer 的大规模语言模型 GPT ……

ChatGPT 所拥有的丰富知识储备，来自于它的训练数据，以及它足够大的体量，得益于互联网的普及，它可以轻松地获得海量的由真人写出的文本内容，以便在训练中学会这些内容。

可想而知，ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识，为了让它的回答更可靠，最直接的方式是为它提供外部的知识来源，比如微软将 Bing 的搜索结果作为它回答的信息来源等。