当AI学会做白日梦：世界模型如何让机器拥有预知未来的能力

闭上眼睛，想象自己把一颗球向上抛。

你的大脑会自动"脑补"球的运动轨迹：它先向上飞，速度越来越慢，然后开始下落，越落越快，最后砰的一声砸在地上。

这个过程，你并没有真的去扔球。你只是在脑子里"预演"了一遍。

恭喜你，你刚才用了一次世界模型（World Model）。

世界模型：让AI学会"脑补"的终极目标

所谓世界模型，本质就是一个 AI 系统——它做的事情，和你闭眼想象抛球一模一样：

输入：当前世界的状态 + 一个动作 输出：预测这个世界在做了这个动作之后，会变成什么样

就这么简单。不信？

你试试想象"推门"这个动作——你的大脑立刻会脑补门被推开、铰链发出声响、空气流动的画面。

这就是世界模型的核心能力：给定现在 + 行动，预测未来。

用学术的话说：世界模型是对环境动态（environment dynamics）的学习和压缩。它让 AI 具备"在采取行动之前，先在脑子里推演一遍后果"的能力。

而 AI 领域努力了几十年，就是为了实现这个看似简单、实则极难的目标。

从"做梦"到"造梦"：一段有趣的进化史

第一个"做梦"的AI

世界模型这个概念，真正火起来是在 2019 年。

那一年，一位叫 Danijar Hafner 的博士生（后来去了 DeepMind）发表了一篇论文，提出了一个叫 Dreamer 的算法——名字就很有意思：做梦者。

Dreamer 的思路很直接：

1. AI 看一段视频（现实世界的视频）
2. 它学着用一个"压缩版"来理解这个世界
3. 然后，它在脑子里生成"如果我做这个动作，画面会变成什么样"

换句话说——AI 在梦里学习怎么玩 Atari 游戏。

它不需要真的去玩几百万次，摔死几千次——它在"想象的世界"里把该犯的错都犯了。

结果：Dreamer 只用了很少的试错次数，就在 Atari 游戏上达到了接近人类水平。

三代"做梦者"的进化

从 2019 年到 2023 年，Dreamer 经历了三次重大升级：

• DreamerV1（2019）：学会预测视频下一帧，证明了"梦里学习"的可行性
• DreamerV2（2020）：引入离散隐变量，预测效率大幅提升，游戏水平开始超越人类
• DreamerV3（2023）：用一个统一算法同时搞定连续动作（机器人控制）和离散动作（游戏），并且是完全 off-policy 的强化学习——这意味着它可以复用历史数据，不需要每一步都重新和环境交互

每次升级，都让 AI 的"做梦"能力更上一层楼。

LeCun 的野心：不用重建像素

然而，Hafner 走的是"像素重建"路线——让 AI 预测未来每一帧画面的像素级细节。

这有什么问题？

太慢了。

你想想：预测一段 10 秒的视频，要生成 300 帧、每帧几百万个像素——这计算量，等 AI 算完，"未来"已经变成"现在"了。

2022 年，AI 大佬 Yann LeCun（Meta 首席科学家）提出了另一个流派：JEPA（Joint Embedding Predictive Architecture）。

JEPA 的核心思想是——不要重建像素，重建抽象表征。

类比一下：你看一张照片，不需要记住每一个像素的颜色。你记住的是"这是一只猫"、"猫在沙发上"、"沙发是红色的"——这些高层次的抽象概念。

JEPA 就是这个思路：AI 不用预测像素，它预测的是"这个场景的抽象表征会怎么变化"。

效率提升了好几个数量级。

DeepMind 的 Genie：一张图 = 一个宇宙

2024 年，DeepMind 扔出了一颗重磅炸弹：Genie（Generative Interactive Environments）。

Genie 的惊艳之处在于：你给它一张图片，它能给你生成一整个"可交互的世界"。

你随手画一个简笔画的小人站在山顶，Genie 就能"脑补"出一个完整的游戏世界——

你用键盘控制小人向左走，它会预测出小人左移后的画面；你让它跑起来，它会生成奔跑的动作帧。

这不是视频生成，这是"造梦"——一个你可以走进去、可以控制的梦。

Genie 的核心创新是：从大量无标注的互联网游戏视频中，自动学习"世界模型"。它不需要有人告诉它"这是左移、那是跳跃"，它自己从视频里学会了这些动作对应的视觉后果。

为什么世界模型这么重要？

反事实推理：AI 的"what if"能力

人类有一种强大的认知能力，叫反事实推理（Counterfactual Reasoning）。

比如，你知道"如果我刚才闯红灯，那辆车就会撞上我"。这种"如果……就会……"的思维能力，是人类智能的核心组成部分。

世界模型给了 AI 这种能力：在行动之前，先问"what if"。

你想象"如果我踩油门，车会加速"——这是世界模型在预测。 你想象"如果我踩刹车，车会减速"——这还是世界模型在预测。

AI 在行动之前，先在脑子里推演所有可能的后果，选择最优的再执行。

这比 AlphaGo 的蒙特卡洛树搜索更底层——AlphaGo 搜索的是"棋步"，而世界模型搜索的是"世界可能演化的所有路径"。

解决样本效率问题

强化学习的经典难题：机器人要摔坏多少次，才能学会走路？

现实世界里，这个问题代价极高——真机实验的成本是每个样本几百到几千美元。

世界模型提供了另一种路径：在模拟的世界里摔，摔一万次也不心疼。

当 AI 的世界模型足够准确，它在"想象的物理世界"里积累的经验，可以直接迁移到真实世界中。

安全性和可解释性

想象一下：如果 AI 在真实世界行动之前，会先在"脑子里"推演所有可能的后果——

我们就能通过检查它的"想象轨迹"，提前发现危险的行动方案，然后叫停。

这是世界模型在 AI Safety 领域的一个重要应用：让 AI 的思考过程可以被人类审查。

Sora 是世界模型吗？

说到世界模型，就不能不提 Sora。

2024 年初，OpenAI 发布 Sora——一个可以从文字描述生成 60 秒高清视频的模型。Sora 生成的那些东京街头、郊野草原的视频，质量之高，让很多人惊呼："Sora 就是世界模型！"

然而，LeCun 泼了一盆冷水："Sora 不是世界模型，是世界幻觉生成器。"

他说的有没有道理？有。

世界模型的核心要求是：预测必须符合物理定律。

Sora 生成的视频确实惊艳，但如果你仔细看，会发现大量"物理 bug"：

• 物体忽然消失又出现
• 因果关系混乱（比如一个人先被推倒，镜头一转，人又站好了）
• 水波、光影不符合物理规律
• 玻璃碎裂的碎片不守恒……

Sora 学到的是"视频数据的统计规律"，它生成的，是"看起来合理"的幻觉，不是"真正符合物理"的世界模拟。

但 LeCun 也说了另一句话：幻觉，也许是迈向真实的第一步。

从 Sora 到真正的世界模型，也许就差几代技术迭代。

世界模型的三条技术路线

目前世界模型领域有三条主流技术路线：

第一条：像素做梦派（自回归视频生成）

代表：DreamerV3、VideoPoet、CogVideoX

核心思路：让 AI 直接预测下一帧像素，就像你闭眼想象下一秒的电视画面一样。

优点：生成的视频逼真，可以直接用于仿真训练 缺点：计算量极大，预测长度有限

第二条：表征做梦派（JEPA 家族）

代表：I-JEPA、DINOv2、VCoder

核心思路：预测抽象表征的变化，不纠结像素细节。

优点：效率高，语义理解强 缺点：抽象程度难以把控，太抽象会丢失物理细节

第三条：语言做梦派（LLM World Model）

代表：LLM-Planner、Genie-2（DeepMind）、InternGPT

核心思路：用语言模型理解和推理世界——"世界是什么"用文字描述，"世界会怎么变"用语言推理。

优点：知识丰富，可以利用互联网规模的文本知识 缺点：物理直觉弱，语言描述的空间太粗糙

未来趋势？多流派融合——用语言提供常识，用表征加速推理，用像素保证逼真度。

世界模型在自动驾驶中的应用

最后聊一个落地的方向：自动驾驶。

自动驾驶领域有一个核心难题：corner case（极端情况）覆盖。

你可以在高速公路上开一亿公里，但如果路上有一辆逆行的校车、有一个小孩追着球冲到路中央——这些"没见过的危险场景"，才是真正考验系统的。

传统方法靠的是"真实路测"——把车真的开到路上收集数据。但这成本极高、效率极低。

有了世界模型，自动驾驶系统可以：

1. 实时预测其他交通参与者的行为——骑行者会变道吗？前车会急刹吗？
2. 在虚拟环境里生成极端场景——模拟暴雨、结冰、建筑物遮挡等危险情况
3. 持续学习新场景——用合成数据补充真实数据的不足

Waymo、Tesla、华为等头部自动驾驶公司，都在秘密研发自己的世界模型。它被视为下一代自动驾驶系统的"认知核心"。

写在最后：世界模型为什么让我兴奋

说到底，世界模型之所以重要，是因为它指向了一个更深层的 AI 目标：

让 AI 像人类一样理解世界、理解因果、理解"如果"的力量。

我们人类不需要把每种危险都经历一遍才能学会避险——我们靠的是"想象"。我们的大脑天然就是一个世界模拟器。

如果 AI 也拥有了这种能力——在行动之前，先在脑子里推演后果，选择最优路径再执行——

那 AI 就不仅仅是"更强大的工具"，而是真正具备推理和规划能力的智能体。

当然，这条路还很长。物理直觉、因果推理、长程预测……每一个都是硬骨头。

但看着从 Dreamer 到 Genie 再到 Sora 的进化轨迹，我有理由相信：

AI 学会"做白日梦"的那一天，也许比我们想象的更近。

— 完 —