人工智能安全失守？OpenAI 解散超级智能体对齐团队引担忧

OpenAI 曾成立了一个名为"超级智能体对齐"的团队，旨在研究如何控制和引导"超级智能"AI 系统。

然而，该团队却在近期解散，引发了人们对 OpenAI 发展方向的质疑。

起因：资源不足 掣肘安全研究

据团队内部消息人士透露，OpenAI 承诺将 20% 的计算资源分配给超级智能体对齐团队，但实际分配却远低于承诺。团队想要获得极少部分的资源，也经常遭到拒绝，严重阻碍了他们的研究工作。

人才流失 核心人物离职

由于资源受限等问题，团队士气低落，核心成员纷纷选择离开。其中包括联合负责人 Jan Leike，他是 OpenAI 前任研究员，曾参与开发了 ChatGPT 系列以及前代的 InstructGPT。

Leike 在离职后公开表达了自己的担忧：“我与 OpenAI 领导层就公司核心优先级问题已经争论了很长一段时间，最终只能选择离开。我认为公司应该将更多精力投入到下一代模型的安全性、监控、准备、鲁棒性、以及对齐、保密性、社会影响等方面的研究。这些问题非常棘手，但我担心我们目前的方向无法解决它们。”

OpenAI 回应：重视安全 调整方向

OpenAI 没有立即对 Leike 的言论做出回应，也没有解释资源分配问题。OpenAI 在去年 7 月成立了超级智能体对齐团队，目标是在四年内解决控制超级智能 AI 的核心技术难题。该团队由 Leike 和 OpenAI 联合创始人 Ilya Sutskever 共同领导，Sutskever 也已经在本周辞职。

雄心壮志 现实困境

该团队汇集了 OpenAI 内部对齐研究部门的科学家和工程师，以及来自其他机构的研究人员。他们的使命是不仅要保证 OpenAI 内部模型的安全，还要通过研究资助项目等方式，与更广泛的人工智能行业合作交流。

尽管取得了一些进展，例如发表了安全研究成果，资助外部研究人员，但随着 OpenAI 将更多精力投入产品发布，超级智能体对齐团队不得不为更多的前期投入而斗争。他们认为这些投入对于 OpenAI 发展造福人类的超级智能 AI 的使命至关重要。

安全隐患 喧宾夺目的产品发布

Leike 进一步指出：“建造比人类更聪明的机器本身就伴随着危险。然而，近年来，安全文化和进程却让位于了炫酷的产品发布。”

内部斗争 影响团队稳定

OpenAI 联合创始人 Ilya Sutskever 与 CEO Sam Altman 之间的争斗也让团队雪上加霜。Sutskever 认为 Altman 对董事会缺乏坦诚，并试图解雇他。在 OpenAI 投资者（包括微软）和许多员工的压力下，Altman 最终得以复职，董事会大部分成员辞职，Sutskever 据报道也再没有回到 OpenAI 工作。

消息人士透露，Sutskever 对超级智能体对齐团队至关重要，他不僅进行研究，还起到桥梁作用，让 OpenAI 内部其他部门理解团队工作的的重要性。

团队解散 安全研究何去何从？

在 Leike 离开后，Altman 在社交媒体上表示他们同意还有“很多需要做的事情”，并承诺会去做。OpenAI 另一位联合创始人 Greg Brockman 则补充道，他们将加强测试、安全保障、以及安全和功能的协调性。

Leike 和 Sutskever 离开后，John Schulman 接管了部分原超级智能体对齐团队的工作，但不再会有专门的团队。取而代之的是将相关研究人员分散到 OpenAI 各个部门。OpenAI 发言人将此描述为“更深入地整合团队”。

人们担心的是，OpenAI 的人工智能开发将不再像之前那样以安全为重心。这起事件为人工智能安全的发展敲响了警钟，如何在追求技术进步的同时确保安全性，是所有相关机构都需要共同面对的挑战。