Meta 推出类人AI模型，要打造世界通用模型让人人受益｜CyberDaily

封面：由 DALL·E2生成

CyberDaily：

LeCun的架构是不同于生成式AI模型的架构，它以模拟与学习世界运转的方式，构建一个世界通用型AI，让人人都能从中受益，而不再受限于GPT们无法控制的幻觉里。

这值得期待。

在全球都为GPT疯狂与进入生成式AI的“魔法”领地的时候，最近，MetaAI向世人公布他们认为的应该发展AI模型——I-JEPA——一个可以模仿与学习世界运作的内部模型，意味着它们可以更快地学习，计划如何完成复杂的任务，并轻松适应不熟悉的环境情况。

据Meta发文介绍，该模型就是基于 LeCun 愿景关键组成部分的 AI 模型。早在去年，Meta 的首席人工智能科学家 Yann LeCun 提出了一种新架构，旨在克服当今最先进的人工智能系统的关键局限性。简单来说，该模型基于图像联合嵌入预测架构 (I-JEPA)，通过创建外部世界的内部模型来学习，该模型比较图像的抽象表达，而不是比较像素本身。I-JEPA 在多项计算机视觉任务上表现出色，而且它的计算效率比其他广泛使用的计算机视觉模型高得多。I-JEPA 学习的表达，也可以用于许多不同的应用程序，而无需进行大量微调。

I-JEPA 的背后愿景：LeCun 希望构建可以模拟世界运作方式的人工智能

像世界一样思考与预测

在Meta 二月发布的一篇文章分享到具有模拟与学习世界运转方式的重要性，LeCun 讲到：“人类和非人类动物似乎能够通过观察和以任务独立、无人监督的方式进行难以理解的少量互动，学习有关世界如何运作的大量背景知识。” “可以假设，这种积累的知识可能构成通常所说的常识的基础。”

常识可以看作是世界模型的集合，可以指导什么是可能的，什么是合理的，什么是不可能的。

这使人类能够在不熟悉的情况下有效地进行计划。例如，那位青少年司机以前可能没有在雪地上开车，但他（希望）知道雪地很滑，因此他驾驶过于激进，导致他的车打滑。

常识知识使动物不仅可以预测未来的结果，还可以填补缺失的信息，无论是时间上还是空间上的。当司机听到附近金属碰撞的声音时，即使没有看到相关车辆，他也会立即知道发生了事故。

人类、动物和智能系统使用世界模型的想法可以追溯到几十年前的心理学以及控制和机器人等工程领域。LeCun 提出，当今 AI 最重要的挑战之一是设计学习范式和架构，使机器能够以自我监督的方式学习世界模型，然后使用这些模型进行预测、推理和计划。他的大纲重新组合了认知科学、系统神经科学、最优控制、强化学习和“传统”人工智能等不同学科提出的想法，并将它们与机器学习中的新概念相结合，如自我监督学习和联合 -嵌入架构。

提出AI的自主智能的架构：感知现实与预测未来状态

据Meta发文介绍，LeCun 提出了一个由六个独立模块组成的架构。假设每个都是可微调的，因为它可以很容易地计算一些目标函数相对于它自己的输入的梯度估计，并将梯度信息传播到上游模块。

配置器模块执行控制，给定一个要执行的任务，它为手头的任务预先配置感知模块、世界模型、成本和参与者，可能通过调制这些模块的参数。

而感知模块接收来自传感器的信号并估计世界的当前状态。对于给定的任务，只有一小部分感知到的世界状态是相关和有用的。配置器模块启动感知系统，以从手头任务的感知中提取相关信息。

因而，世界模型模块构成了架构中最复杂的部分。它的作用是双重的：一是估计未通过感知提供的有关世界状态的缺失信息，二是预测可能的世界未来状态。世界模型可以预测世界的自然演化或预测由参与者模块提出的一系列动作产生的未来世界状态。

因此，I-JEPA 要让让人工智能系统像动物和人类一样学习和推理

研究大脑以构建像人一样处理语言的人工智能，在不直接向人类学习的情况下教导 AI 与人类进行更多协作，Meta在 I-JEPA（以及更普遍的联合嵌入预测架构 (JEPA) 模型）上的工作基于这样一个事实，即人类仅通过被动观察就可以了解有关世界的大量背景知识。据推测，这种常识信息是实现智能行为的关键，例如新概念的样本有效获取、基础和规划。

AI 研究人员试图设计学习算法，捕捉关于世界的常识背景知识，然后将其编码为算法以后可以访问的数字表示。为了有效，系统必须以自我监督的方式学习这些表示——也就是说，直接从图像或声音等未标记的数据中学习，而不是从手动组装的标记数据集中学习。

在高层次上，JEPA 旨在根据同一输入的其他部分的表示来预测输入的一部分（例如图像或一段文本）的表示。因为它不涉及将图像的多个视图/增强表示折叠到单个点，所以希望 JEPA 避免与另一种广泛使用的方法（称为基于不变性的预训练）相关的偏差和问题。

同时，通过在高抽象层次上预测表示而不是直接预测像素值，希望直接学习有用的表示，同时避免生成方法的局限性，而生成方法就是现在流行的生成大语言模型的基础。

相比之下，生成架构通过删除或扭曲模型输入的部分内容来学习——例如，擦除照片的一部分或隐藏文本段落中的某些单词。然后他们尝试预测损坏或丢失的像素或单词。然而，生成方法的一个显着缺点是模型试图填补每一点缺失的信息，即使世界本质上是不可预测的。因此，生成方法可能容易犯一个人永远不会犯的错误，因为它们过于关注不相关的细节，而不是捕捉高级可预测的概念。例如，众所周知，生成模型很难准确生成人的手。

最终目的：让AI 中更接近人类智能，让每个人受益

当然，LeCun 的愿景的很美好，但其比想象中还有许多困难与挑战。其中最困难的便是是实例化世界模型的架构和训练过程的细节。事实上，可以说训练世界模型是未来几十年人工智能取得真正进步的主要挑战。据Meta称，该架构的许多其他方面仍有待定义，包括如何精确地训练批评家，如何构建和训练配置器，以及如何使用短期记忆来跟踪世界状态和存储历史 调整评论家的世界状态、行动和相关的内在成本。

据悉，LeCun 和其他 Meta AI 研究人员期待在未来数月和数年内探索这些，并与该领域的其他人交流想法和学习。创造能够像人类一样有效地学习和理解的机器是一项长期的科学努力——而且并不能保证成功。

但正如，Meta 坚信：“ 随着基础研究将继续加深对思维和机器的理解，未来的 JEPA 模型可能会扩散到各种任务中的应用，成为世界通用模型，让每个使用人工智能的人受益。”

参考引用资料

[1]https://ai.facebook.com/blog/yann-lecun-ai-model-i-jepa/?utm_source=facebook&utm_medium=organic_social&utm_campaign=blog&utm_content=link

[2]https://ai.facebook.com/blog/yann-lecun-advances-in-ai-research/

[3https://www.analyticsinsight.net/meta-reveals-a-new-human-like-artificial-intelligence-model/

[4]https://www.reuters.com/technology/meta-releases-human-like-ai-image-creation-model-2023-06-13/

[5]https://www.itp.net/emergent-tech/metas-human-like-ai-model-available-soon

合作、转载、联系，请后台加V

脑机接口·仿生义肢·

机器人·未来交通

·赛博格·人工智能·

元宇宙、超人主义、未来主义

请关注CyberDaily

-未来已来，只是分布不均匀-