专栏首页人工智能头条Yann LeCun:谁能解释极限学习机(ELM)牛在哪里?

Yann LeCun:谁能解释极限学习机(ELM)牛在哪里?

【编者按】被认为学习速度快、泛化性能好的Extreme Learning Machine(ELM,极限学习机),在国内颇有市场,但大神Yann LeCun近日质疑ELM存在命名、方法论等方面存在很多问题,不如采用SVM或者RBF,随即有人反驳称ELM理论上与一般的前馈神经网不分伯仲,ELM的发明者则认为,ELM和深度学习是相辅相成的,有些应用将两者结合收到很好的结果,并且ELM可以填补CNN的理论空白。现在双方观点整理如下,供读者参考。

南洋理工大学黄广斌副教授(@黄广斌-ELM)在2004年提出的Extreme Learning Machine(ELM,极限学习机),是一种单隐层前馈神经网络(SLFN)学习算法。这种算法只需要设置网络的隐层节点个数,执行过程中不需要调整网络的输入权值以及隐元的偏置,并且产生唯一的最优解,因而学习速度快且泛化性能好。

然而,Facebook人工智能实验室负责人、纽约大学教授Yann LeCun近日在Facebook上对ELM提出了质疑,认为ELM存在命名、方法论等方面存在很多问题,有一定的优点但不如首先采用SVM(支持向量机)或者RBF,也难以应对ImageNet 或语音识别这样的复杂任务。

Yann LeCun认为:首先,ELM和早前出现的Gamba Perceptron、Rosenblatt perceptron看来有极深的渊源。其次,随机连接第一层的方法几乎是最傻的事情,基本上可谓否定近60年的努力的开倒车的行为(Perceptron已可解决线性不可分问题)。他表示,随机初始化输入权重和偏置,做好了也只能对简单函数和小型标记数据集有效,还不如采用SVM或者RBF。

First, the name: an ELM is *exactly* what Minsky & Papert call a Gamba Perceptron (a Perceptron whose first layer is a bunch of linear threshold units). The original 1958 Rosenblatt perceptron was an ELM in that the first layer was randomly connected.

Second, the method: connecting the first layer randomly is just about the stupidest thing you could do. People have spent the almost 60 years since the Perceptron to come up with better schemes to non-linearly expand the dimension of an input vector so as to make the data more separable (many of which are documented in the 1974 edition of Duda & Hart).

Yann LeCun的观点获得了200多个赞和大量的回复。一些回复表示看好ELM的速度,然而Yann LeCun反驳:ELM的运行必然慢于RBF网络,后者第一层采用K均值或者GMM甚至神经网络来训练,所有的这些模型优化了一层单元的数量和位置,从而可以消除一些数据量的影响。传统的SVM用于大型数据集缓慢,人们都有很多建议方法绕过该问题。如果指的是训练速度,只要训练时间不是太离谱,则无人在意。

They have to be slower to run than an RBF net in which the first layer is trained with K-means or GMM, or even neural nets, since all of these models optimize the number and placement of layer-1 units, and can therefore get away with a small number of them. Regular SVMs get slow with very large datasets, but people have suggested ways to get around that. Perhaps they are talking about training speed, but no one is really interested in that, as long as the training time is not outrageous.

对于一封发给IEEE SMC的匿名邮件《The ELM Scandal》(其中列举多项条款指责ELM涉嫌存在学术问题),Yann LeCun甚至称,“ELM is officially a fraud”。

在国内,微博网友@David_Wang2015发表博文《Extreme Learning Machine(ELM)的工程哲学》,赞同ELM的工程意义,作为对Yann LeCun的回应。

@David_Wang2015认为:目前的单隐层ELM在函数逼近论和统计学习理论意义下的收敛结果已经有证明,理论上与一般的前馈神经网不分伯仲。不过,前馈神经网适合工程应用的函数模型还得靠工程师的理解和洞察,ELM如果要在各种应用中更上一层,合理的结构设计和隐节点的生成方式的研究是必不可少的。

一些圈内人士评论认为,尽管ELM思想上工程上确有意义,但后文从哲学方法层面回应,未能落到实处,仍然无法回答Yann LeCun的质疑。

@David_Wang2015在此之后解释:

这篇文章主要是介绍一下ELM的主要思想,说明ELM为什么在某些应用中可以又快又work,解决一些关于ELM的疑惑。彻底回答LeCun的质疑还得需要更深入的理论和工程的研究,在知名数据集和工程应用上刷刷performance。

作为ELM的发明者,黄广斌亦提出了自己的观点:ELM和深度学习是相辅相成的,如可将CNN用于特征提取,ELM用于做分类器,此外ELM还可以填补CNN的理论空白。

ELM的发展也是从不信到怀疑,到似曾相识,到大彻大悟的过程。ELM和深度学习是相辅相成的,有些应用将两者结合收到很好的结果,比如将CNN用于特征提取,ELM用于做分类器。其实从长远角度看,更多的是ELM和Deep Learning的交融汇合(Convergence)。另一方面Convolution Neural Network (CNN)虽然有生物学上的相关意义,数学理论上的证明还不多,ELM理论正好填补这个空白,并且推向更广泛的Local Receptive Fiekds概念。

黄广斌表示,神经网络的发展是曲折前进的历史,如多层感知器(Perceptron)、Back-Propagation(BP)算法、SVM甚至深度学习,都曾经历了不被理解的过程——理解和认识有时需要一个漫长的过程。

真理越辩越明。对于这个问题,您有更详细的见解吗?

本文分享自微信公众号 - 人工智能头条(AI_Thinker)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2015-05-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 这7种NLP黑科技让你更好交流!来看一看是什么(Part1)

    用户1737318
  • LSTM实现详解

    用户1737318
  • 给初学者推荐一个摆脱变量命名纠结的神器

    GitHub 链接:https://github.com/unbug/codelf

    用户1737318
  • 极限学习机 Extreme Learning Machines 介绍

    极限学习机(ELM, Extreme Learning Machines)是一种前馈神经网络,最早由新加坡南洋理工大学黄广斌教授于2006年提出。其发表的文章中...

    deephub
  • SpringBoot入门建站全系列(三十三)集成validator校验接口数据

    在开发中经常需要写一些字段校验的代码,比如字段非空,字段长度限制,邮箱格式验证等等,如果我们直接将这些校验写死在代码里,将会遇到这种现象:

    品茗IT
  • NPOI导出数据

    将一个表的数据导出到Excel表中和将Excel表中的数据导入到数据库中,需要怎么做?

    PHY_68
  • 曾经豪言“指哪爬哪”,如今被一个JS狠狠教做人

    很久没有写有关爬虫相关的内容了,今天给大家分享一下最近工作中遇到的一个与JavaScript相关的数据采集案例。

    州的先生
  • 迁移学习在深度学习中的应用

    ▌简介 ---- 迁移学习是一种机器学习方法,其中为一个任务开发的模型可以在另一个任务中重用。 迁移学习是深度学习中的一种流行方法,其中预训练(pre-trai...

    WZEARW
  • 分片重加密实现区块链可分享型隐私

    我们习惯把数据都存储在各种云服务器上,带来方便的同时也存在很多数据隐私泄露的隐患,绝大多数的云服务供应商并不完全值得信任,他们完全可以在未经用户允许的情况下擅自...

    用户7358413
  • 什么是数据敏感度?怎么培养数据敏感度?

    提这个问题是因为她的主管自诩数据敏感度很高,做为下属的她想知道到底什么是数据敏感度,怎么培养数据敏感度。

    木东居士

扫码关注云+社区

领取腾讯云代金券