统一自监督学习框架 （华为）
统一自监督学习框架 （华为）
抽象
自我监督学习(SSL)方法旨在利用大量未标记数据进行机器学习(ML)，但其基本原理通常是特定于方法的。从具身学习的生物学第一性原理衍生的SSL框架可以统一各种SSL方法，帮助阐明大脑中的学习，并可能改进ML。SSL通常将每个训练数据点转换为一对视图，将这一对的知识用作正(即非对比)自监督标志，并可能将其与不相关(即对比)的负样本对立。在这里，我们表明这种类型的自我监督是神经科学概念的不完整实现，即EfferenceCopy(EC)。具体来说，大脑还通过输出 (即运动命令)来改变环境，但是它会向自己发送完整命令的EC，即不仅仅是一个SSL信号。此外，它的动作表示可能是自我中心的。
从这样一个原则性的基础上，我们在一个共同的理论框架下正式恢复和扩展SSL方法，例如SimCLR、BYOL和ReLIC，即通过影响副本进行自我监督(S‑TEC)。根据经验，S‑TEC对类内和类间表示进行了有意义的重组。这表现为最近在图像分类、分割、对象检测和音频方面强大的SSL基线的改进。这些结果假设大脑的运动输出对其感觉表征有可测试的积极影响。
简介
深度学习(DL)从神经科学中汲取灵感，还提供了用于理解大脑各个方面的模型(Richards等人，2019年)。DL非常成功，主要归功于标记的大数据集。然而，这种标记是由人类监督员执行的昂贵程序。完全无监督的ML技术确实存在，但它们很少能达到监督学习的性能(Moraitis等人，2022年；Journé等人，2022年)。另一方面，最近出现了一类自我监督的算法。在自我监督学习(SSL)中，模型本身会生成监督信号，因此不需要人工监督，然后使用该信号进行监督学习。最近的SSL算法通过使用输入对生成监督信号，其中已知它们是属于相同实例还是属于不同实例，因此会自行生成正面或负面标签。如果输入在顺序域中，则示例可以关联为正例，例如基于它们的时间接近度(Oord等人，2018)。高级SSL算法通过扩充训练数据集自行生成正输入对(He等人，2020年；Chen等人，2020a；Grill等人，2020年；Caron等人，2020年；Mitrovic等人，2021年)。进一步改进这些算法甚至有可能胜过监督学习(Tomasev等人，2022年)，因为在比较完整输入对时比在单独的人工标记示例中存在更多信息。因此，改进SSL在于设计更好地捕获该信息的表示学习方法。然而，统一现有SSL方法这些的概念框架原理以及新改进方法的指南都很少(Balestriero和LeCun，2022)。
2中枢神经系统的效应拷贝
生物中枢神经系统(CNS)的运作似乎主要是在没有外部监督的情况下进行学习，它可能提供这样一个框架。相反，在这种框架内的ML模拟也可以为生物SSL生成可测试的假设。在本研究中，我们采用这种抽象的希望，并将其表述为从SSL到CNS中特定机制的具体链接。我们首先观察，脊椎动物的中枢神经系统被认为已经进化，其主要目的是执行感觉运动控制和学习，其次，可以查看增加SSLML实现中训练示例的数据操作作为电机动作。
然后，对类比的搜索可以集中在寻找生物运动控制和学习中可能的自我监督信号上。
感觉运动系统中一个特别适合和公认的信号是效应复制(EC)(vonHelmholtz，1867年；McNamee和Wolpert，2019年)或推论放电(Sperry，1950年)。也就是说，已经表明，当CNS的一个组件通过传出(即传出)运动命令或动作处理身体的肌肉时，它通常还会向CNS本身发送一个副本，参见图1A。EC具有多种功能和丰富的支持证据 (Kennedy等人，2014年；McNamee和Wolpert，2019年；Kilteni等人，2020年；Latash，2021年)。例如，负责青蛙运动的某些运动指令是在脊髓中产生的，但会被复制到负责眼睛运动控制的脑干(vonUckermann等人，2013年)。
然后预测与身体运动相关的对视野的干扰，并通过稳定青蛙凝视的眼球运动适当地抵消。因此，EC的一个功能是协调身体的不同电机控制器。EC的另一个功能是通过取消自生动作的可预测感觉，将感觉处理集中在外部产生的和不可预测的刺激上。例如，人类无法有效地挠自己痒痒，因为通过使用其EC，CNS可以预测其自身行为的感官后果，并在感知之前取消它(Blakemoreetal.,1998)。ECs在人类中的作用实际上更广泛，并且对运动控制非常重要。具体来说，身体运动的控制涉及大脑维持的前向内部模型，即预测每个运动指令产生的感觉输入的模型(Kawato，1999年；McNamee和Wolpert，2019年)。这些正向模型依赖于访问
鉴于ECs在感觉处理、运动控制和运动学习中的普遍作用，我们假设ECs也可以在感觉表征的学习中发挥关键作用，并且它通过逆向模型的学习来实现。更具体地说，我们假设，如果EC充当自我监督学习信号，那么它会改进感官学习过程，例如改进输入示例的后期分类。我们将在抽象的ML设置中检验假设，而不是生理实验或生物学上的详细模拟。尽管如此，我们将使用确实具有合理的生物物理实现的机制。此外，我们的模型可以通过向SSL提供更多配对输入数据点的信息内容来改进ML方法。
这是因为EC可以是丰富多样的信号，即它们可以提供生成输入对的动作的完整描述，并且可以针对各种类型的动作进行描述。
3 S‑TEC：通过影响副本进行自我监督
3.1定义和主要原则
我们的基本假设是(a)EC可用，即传出运动命令或动作的副本。我们策略的本质是使用这个EC作为目标标签来(b)学习一个逆向模型，将感觉输入映射到首先导致输入变化的运动输出(Kawato,1999)。我们假设(c)一个分层模型，例如多层神经网络。我们推测，改进这种以运动为导向的任务的模型也将改进其中间感官表征作为直接结果，然后对更广泛的感官任务有用。在我们的实验中，我们使用表示进行分类。为了具体化模型，让x∈D通常表示感官输入。此外，我们将电机命令定义为导致转换输入x=T(x,a)的动作a∈Aego，用T表示转换函数，另请参见图1A。在下文中，我们将简单地将EC写为概率分布pEC(a|x,x)，以指示在假定感官输入为采取行动之前的x和之后的x的情况下它将假定的值的分布。我们将其用作逆向模型需要预测的基本事实。更正式地说，我们用qθ(a|x,x)表示要学习的反向感觉运动映射，其中自由参数θ推测突触权重。那么学习就是最小化真实pEC和我们的模型qθ之间的差异：
(d)动作必须考虑两种类型的感觉转换(见图2A)，即：
‧(d1)对象身份相关的行动帮助。此类动作在感测到的对象之间切换，例如通过眼睛的扫视，使全新的对象成为焦点，或者没有。在由静态图像组成的标准视觉数据集的上下文中，我们只需将当前查看的图像与随机采样的新图像进行交换。此类别中的两种类型的动作，即是否切换，分别为aid=1或aid=0。
‧(d2)相同对象操作amanip。此类别是身份保持的，即保持感知到的对象，但观察者主动操纵它或它的视图，例如：转动对象，或移动到更近的有利位置。对于静态图像，这种变换是通过常用的图像增强操作自然形成的。例如，裁剪具有随机大小和随机纵横比的图像的空间变换可以模拟到更近距离的不同点的移动，而水平镜像图像则很好地对应于旋转对称的3D对象，见图1B。我们表示通过amanip将一个增强视图x转换为另一个增强视图x的动作。
(e)我们将整个动作表示建模为分类的，即包括amanip。这是为了遵循大脑在整个组织中保持统一原则的生物学证据，例如整个皮质(Douglas等人，1989年)，包括运动区(Bastos等人，2012年)。此外，有重要证据表明这种统一组织确实具有特定的分类结构，不同的动作由不同的神经元簇表示(Graziano，2016)。重要的是，这允许通过分类任务学习相关的逆模型
基于EC向观察者传达他自己正在采取的行动这一事实，(f)使用以自我为中心的行动表示而不是将行动与非自我中心的参考点(即与环境)对齐是适当的。为此，请注意(d2)中引入的空间变换是仿射的，因此可以用它们关联的变换矩阵表示。这种逻辑参数化使我们能够方便地计算将x变为x所需的以自我为中心的动作：通过将产生一个原始视图的变换矩阵与产生另一个视图的反转变换矩阵相乘。这突出了与其他工作(Lee等人，2021)中选择的动作的非中心表示的差异，其中转换与原始的非中心参考框架对齐(即尺度差异而不是商数，因为它会出现在这里))
后续是主流自监督模型性能对比
阅读原文参考完整原论文。
相关推荐：
代码：Learning to Learn and Forget
AI分析框架
Self-building Neural Networks 代码
代码：一个epoch打天下：深度Hebbian BP (华为实验室) 抗攻击
代码Unsup Visual Dynamics Simulation with Object-Centric Models