Activation Learning by Local Competition 代码

Activation Learning by Local Competitions

https://github.com/DPSpace/activation_learning

摘要

尽管反向传播取得了巨大的成功，但它也有一定的局限性，因此有必要研究新的学习方法。在这项研究中，我们提出了一个生物学上似乎合理的局部学习规则，它改进了Hebb的著名提议，并通过神经元之间的局部竞争发现了无监督的特征。这个简单的学习规则能够创建一个称为激活学习的前向学习范式，其中神经网络的输出激活(输出的平方之和)估计输入模式的可能性，或者用更简单的术语来说就是“学习更多，激活更多”。对于一些小型经典数据集的分类，激活学习的性能与使用全连接网络的反向传播相当，当训练样本较少或存在不可预测的干扰时，激活学习优于反向传播。此外，同一个经过训练的网络可以用于各种任务，包括图像生成和完成。激活学习还在几个真实世界数据集上实现了最先进的异常检测性能。这种新的学习范式具有统一监督、非监督和半监督学习的潜力，并且更能抵抗敌对攻击，值得深入研究。

简介

反向传播的一个限制是，通过最小化特定损失函数学习的特征往往是特定于任务的。这使得经过训练的模型很难执行一般的任务，需要大量的标记数据，并使它们容易受到敌对攻击[8]。受大脑的启发，大脑被认为是以一种主要无监督的方式学习[9]，[10]，我们打算创建一种新的学习范式，使神经网络能够基于简单的局部学习规则进行前向无监督训练，同时实现与反向传播相当的性能。基本思想是，当一层中的每个神经元在呈现不同特征的同时竞争激活时，网络将最大数量的信息传输到下一层，学习得到加强。

Hebbian可塑性是由Hebb提出的一种基于局部相关性的学习规则，已得到长时程增强和抑郁等实验证据的支持[5]，[11]。简单来说就是“一起放电的细胞连在一起。”在一个层中训练多个神经元，具有赫比可塑性，一种竞争机制“赢家通吃”[12]的引入是为了提高神经元之间的竞争，以便只有具有最强突触输入总和的神经元被激发来更新权重。然而，Hebbian可塑性长期以来被认为是不切实际和低效的人工神经网络训练，直到最近发现，Hebbian可塑性与“赢家通吃”相结合，可以学习低层特征，以实现与使用反向传播进行端到端训练的网络相当的性能[13]。进一步的努力集中在应用Hebbian可塑性到卷积网络[14]-[17]或多层网络[18]-[20]。然而，这些方法并不是完全无反向传播的，即，顶层仍然通过反向传播来训练，用于某些任务，例如分类，并且当一层中的神经元没有相互连接时,“赢家通吃”也不是完全局部的。我们开发了一个用于更新连接权重的局部竞争学习规则，该规则在神经元之间施加竞争，而不依赖于全局“赢家通吃”

使用这种学习规则，一个经过训练的层可以分解一些非正交主成分的输入模式，并且学习的特征可以近似地重构输入数据。这种重建能力使学习更能抵抗对抗性攻击[21]。这种学习规则可以用于建立无监督的预训练模型，以提高一些有监督的学习任务的性能，特别是在有更多未标记数据的情况下。此外，这种局部学习规则能够开发一种新的学习范式，称为激活学习，其中神经网络的输出激活估计输入模式的可能性，或者用更简单的术语来说就是“学习更多，激活更多”。

激活学习使用一个多层神经网络，它接受数据和标签(或纯数据)作为输入，其中每一层都是在没有监督的情况下根据局部竞争学习规则进行训练的，并由保持大小的激活函数进行调制。经过训练的网络的输出激活(输出的平方和)倾向于由输入强度(输入的平方和)来上限，并且可以用作通用分布估计器。由于激活学习的任务独立性质，网络模型是通用的，适用于一般目的。对于相同的网络，判别任务是通过最大化输出激活从数据中找到缺失的类别，而生成任务旨在通过注入随机性从给定的类别中推断缺失的数据。

与人类学习类似，分类的激活学习可以通过准确度信息的反馈来增强，这为网络提供了负样本(标签不正确的数据)来遗忘和调制全局学习速率。激活学习使用完全连接的神经网络在MNIST和CIFAR-10上实现了与反向传播相当的性能，而无需复杂的正则化器和数据扩充。此外，它显示出优于反向传播的几个优点，包括较少训练样本的改进的性能、对外部干扰的鲁棒性和对敌对攻击的抵抗力。使用来自MNIST的600个标记训练样本，激活学习可以达到9.74%的分类错误率，而反向传播可以

在增加一个输出层的情况下，仅获得16.17%的错误率。这是因为激活学习更有能力从每个输入模式的小片段中学习丰富的局部特征。随后使用激活学习进行异常检测的研究表明，激活学习不仅是一种新的学习理论，而且是一种实用的技术，在某些现实世界场景中优于反向传播。

本文的其余部分组织如下。第二节介绍和分析了局部竞争学习规则，它提高了神经元之间的竞争。第三节介绍了激活学习的框架，第四节介绍了MNIST的实验。第五节研究了在CIFAR-10上使用本地连接的激活学习。在得出结论之前，第六节讨论了激活学习的几个进一步的实际或预期的好处，以及它与前向-前向算法的相关性。

局部竞争学习规则

数学属性：

完整论文请阅读原文

相关推荐：

Self-building Neural Networks 代码

一个epoch打天下：深度Hebbian BP (华为实验室)

一个epoch打天下-理论基础：短期突触可塑 建模动态环境的最优性

神经突触算法结构图大全(13篇论文汇总)

在突触学习和计算目标之间建立精确关系的框架

树突脉冲神经元 开源模拟框架

人、鼠神经细胞差异对比 及神经元计算建模

大脑中复杂适应动力学的神经调节控制

DhPC 一个脉冲脑皮质计算理论

抗攻击的图表示学习

直接颠覆BP的生物学习算法

生物躯体稳态控制的第一原理

代码Unsup Visual Dynamics Simulation with Object-Centric Models

下一代神经网络深度学习 技术亮点梳理-换道chatGPT

脑网络结构高清大图