为什么 OpenAI 不愿透露神秘的 Q* 算法是什么？

有关于 OpenAI 的内部宫斗事件，这是我推荐阅读的第二篇文章。

在 11 月底，包括路透社在内的媒体引用知情人士的说法称：OpenAI 正在开发一种先进系统，其强大的功能引起了公司员工的恐慌和安全担忧。该模型叫 Q*（发音为 Q-Star），并被认为有可能是 OpenAI 探索通用人工智能（AGI）的突破。

这个新模型能解决某些数学问题，虽然成绩仅达到小学生水平，但在此类测试中取得好成绩，让研究人员对 Q* 未来的成功非常乐观。因为目前生成式 AI 擅长通过统计预测下一个单词来进行写作和语言翻译，而针对同一问题的答案可能有很大差异。但征服数学能力（只有一个正确答案）则意味着：AI 将拥有类似人类智能的更强的推理能力。

路透社引用知情人士的说法称：一些研究人员在奥特曼被解雇前致信董事会，警告该模型可能威胁人类，并补充说该系统背后的开发速度震惊了一些安全方面的研究人员。并指出，这也是导致董事会解雇奥特曼的系列因素之一，其他因素还包括董事会对奥特曼过于激进的技术商业化的担忧。

需要注意的是，根据美媒的报道：

第一，该模型主要由 OpenAI 前首席科学家 IIya Sutskever 带领突破。而这种突破，也使 OpenAI 克服了需要获得足够高质量数据来训练新模型的限制。这种限制本是开发下一代模型的主要障碍。这项研究涉及使用计算机生成的数据——而不是现实世界的数据——来训练新模型。

第二，据说奥特曼被解雇前曾在某峰会上开玩笑说，他相信重大进展即将到来：“在 OpenAI 的历史上已经有四次了，最近一次是在过去几周，当我们推开无知的面纱并向前推进发现前沿时，我已在房间里了。能做到这一点，是我一生的职业荣誉。”一天之后，董事会解雇了奥特曼。

下面这篇文章，讲述了科学领域论证方式的变迁，是如何影响了这起宫斗事件。而最直接的一个问题就是：为什么有些人认为 OpenAI 内部神秘的 Q* 算法很危险，但是另外一些人则不这么认为。

以下是我通过 DeepL 和谷歌翻译进行的翻译简写。

上周，ChatGPT 背后的公司 OpenAI 似乎被揭开了神秘的面纱。公司董事会突然解雇了首席执行官萨姆·奥特曼，数百名员工起义抗议，奥特曼又恢复了职位，媒体从各个可能的角度剖析了这个故事。然而，这些报道都掩盖了一个事实，那就是：

我们对 OpenAI 最关键部分的了解仍然非常有限。我们并不真正了解 OpenAI 如何开发其技术，也不确切了解奥特曼在未来 OpenAI 有更强大的技术的情况下会如何指导工作。

上周三，这一点变得非常明显。据路透社与信息报道称，在奥特曼被解雇前，几名研究人员对所谓的危险“突破”表示担忧。

争论的焦点，是一种名为 Q*（发音为“Q-star”）的算法。

据称，这一算法已经被证明可以解决某些小学水平的数学问题，这在以前从未实现过。尽管这听上去可能并不令人印象深刻，但是根据报道，OpenAI 内部的一些研究人员认为，这可能是该算法提高其推理能力的早期迹象。换句话说，就是利用逻辑解决新问题。

数学，经常被用作这项技能的基准；研究人员很容易定义一个新问题，而理论上，要找到解决方案，需要掌握抽象概念并进行逐步规划。以这种方式进行推理，被认为是更加智能、更加通用的 AI 系统所缺少的关键要素之一。

根据 OpenAI 的说法，这样的理论系统在大多数任务上都要比人类更好，但如果控制不当，则可能会导致生存灾难。

OpenAI 的发言人没有对 Q* 发表评论，但告诉我说：研究人员的担忧并没有促使董事会采取行动。两位熟悉该项目的人士向我证实，OpenAI 确实一直在研究这一算法，并且已经将其应用于数学问题。但与一些同事的担忧相反，他们对这是否会被视为足以引发生存恐惧的重大突破表示怀疑。

他们的怀疑，凸显了在人工智能研究领域长期以来一直存在的一个事实，那就是：

人工智能的进步在发生的那一刻，往往带有很大的主观性。而随着……全文需要大家到我的知识星球阅读。