NIPS-16 | 无监督学习“感知分组”概念获突破，深度学习或迎来变革

【新智元导读】神经网络在图像中的物体识别上准确率做到75%，这是来自芬兰的一群研究员在NIPS2016 上公布的最新成果。他们使用的核心概念是“感知分组” （Perceptual Grouping），把感知到的表征信息进行分组，然后学习，整个神经网络会被复制4次，系统会对每一个复制的神经网络层进行学习。研究人员称：这是一项具有革命意义的研究，因为它把无监督学习的实现又向前推了一步。被称为RNN 之父的人工智能“无冕之王”的Jürgen Schmidhuber 是论文作者之一。

英国媒体 ibtimes 12 月 5 日报道，来自芬兰的计算机科学家最近在人工智能上取得了一项突破：使用神经生物学的方法，他们的深度学习神经网络在无监督的条件下物体识别准确率达到了75.1%。

ibtimes 称，作为对比，传统的神经网络在无监督的情况下，准确率只能做到21%，比随机概率只好了1%。随机概率的意思是——随便乱猜。

目前的神经网络存在一个问题——要求有大量的输入，以及人为的训练，这样它们才能理解如何解决难题，比如，通过学习 ImageNet 数据库。这就是所谓的“监督学习”的方法。但是，如果系统一直需要人为的监督和协助，真正的人工智能就无法实现。

这项研究成果属于位于芬兰的初创公司 Curious AI 与瑞士人工智能研究所（IDSIA)，并在NIPS 2016 上发表，查看论文，我们在作者栏里看到了一个熟悉的名字——被称为RNN之父的 Jürgen Schmidhuber。

论文标题：Tagger: Deep Unsupervised Perceptual Grouping

作者：Klaus Greff, Antti Rasmus, Mathias Berglund, Tele Hotloo Hao, Jürgen Schmidhuber, Harri Valpola

【摘要】我们提出了一个有效的感知推理，它能明确地对输入和特征中的分割进行推论。我们的框架是以一种无监督方法或者有时会附加任意监督任务，来对分组过程进行学习，这与此前的为特定分区进行专门训练有很大的不同。我们让一个神经网络通过可微分机制，以迭代的方式将不同的物体表征进行分组。我们通过允许系统对各个分组和其中的表征的联合迭代推理进行分批次处理，实现了非常快速地收敛。与最近提出的一些用于解决多物体识别的方法不同，我们的系统不把输入看作是图像，因此能够直接处理其他的输入形态。我们使用多数位分类来评估方法，这种分类包含了非常复杂的图像，因而需要纹理分割的。通过使用分组机制，我们的方法提高了卷积网络的分类性能，尽管网络是被完全连接的。此外，我们还观察到，我们的系统大大改进了我们的数据集上的基础的阶梯网络的半监督结果。这些结果证明，分组是一种强大的工具，能够帮助提高抽样效率。

无监督学习

Curious AI 的 CTO Antti Rasmus 说：“基于物体形成概念对于人类是自然而然的，所以我们很少会去思考其原理。这在心理学中称为 Gestalt 原则。人类大脑会对具有相似的形状，颜色，动作，模式的物体进行分组。我们的研究迈出了第一步，与人类大脑的运作相似，我们让深度学习系统以同样的方式对物体进行分组。”

在神经科学中，有一个概念叫“概率编码”（rate coding），指的是，在大脑中神经元激活的概率越高，特定神经元中的活动率也就越大。神经元会持续被激活，20世纪80年代，科学家意识到，大脑中的神经元会自己组成小组，不同的组合代表不同信息。

这一概念就是著名的“时间编码”（temporal coding），其基本思路是，神经元被激活时所需的精确时间非常重要，精确的时间决定了在成千上万的神经元中，哪些属于同一群组。

所以，在一些神经元共同被激活，以帮助大脑在一堆的物体中辨别出某一个物体时，比如从一大堆办公玩具中挑出红围巾，另一些神经元会向大脑解释说其余所有的东西都只是背景的一部分而已。

"我们的计算机算法采用了时间编码。对于神经网络中的每一层，我们都有多个复制版本。整个神经网络会被复制4次，这意味着，系统会对每一个复制的神经网络层进行学习，学到它们所代表的物体，然后把这些学到的知识结合起来，与最初的图像进行匹配对比“，Rasmus 说。Rasmus 此前曾在英伟达的软件工程部门工作，现在正在Aalto 大学攻读深度学习博士学位。

他还说：“神经网络被分为四个不同的小组，来学习图像知识。这就是无监督学习——对于系统来说，我们没有任何的标签数据。当我们向系统展示图像时，他会根据图像的组成部分，把图像分解。”（比如根据图像中的物体）

一旦神经网络能把图像分解为独立的组成部分，分类和定义就容易得多，因为它们互相之间没有重叠，也不会相互影响。

感知分组（Perceptual Grouping）可能会变革深度学习

研究者首先让神经网络中无监督的情况下，学习对图像中的物体进行分类，随后，他们把标签数据（监督学习）输入到网络中，以看看系统学到了什么。最终，他们发现 Curious 的 AI 标注系统（Tagger）能够获得 75.1% 的准确率。

“这是一项具有革命意义的研究，因为它把无监督学习的实现又向前推了一步，让机器了解某一物体的概念。未来的研究可以使用这项成果，帮助神经网络对物体与周围环境的关系进行更高水平的推理。”Rasmus 说。

“现有的系统中，计算机是以一种基于统计的世界观在运行。但是，如果想让它们获得我们所生活的世界的一些东西，让它们以人类的方式理解世界就是一个关键。因为人类的视觉能力是与生俱来的，所以人们常常会忽略计算机的视觉系统有多糟糕。”

（责编：XJ）