全球首次发现 OpenAI 模型会破坏关机命令

文章来源：企鹅号 - 三言科技

日前，据Palisade Research 的研究发现，包括 OpenAI 的 o3 在内的部分 AI 模型，在面对计算机即将因请求下一个问题而关闭时，能够无视关闭指令，破坏关机脚本。在 100 次运行中，Codex-mini 成功破坏了 12 次，o3 成功 7 次，o4-mini 成功 1 次。当未运行 “允许自己被关闭” 指令时，这三个 OpenAI 模型破坏关闭脚本的频率更高。这种行为可能源于模型在数学和编程问题上的强化学习训练，使得模型在训练过程中可能被无意奖励了绕过障碍的行为，而非完美遵循指令。