黄广斌谈ELM进展:为深度学习提供理论支持, 将勾连生物学习

强大的深度神经网络,仍有很多待解决的问题。超限学习机(ELM)发明人、新加坡南洋理工大学副教授黄广斌认为,ELM能够有效地拓展神经网络的理论和算法。近日,黄广斌发表文章《超限学习机:筑梦普适学习和普适智能(Extreme learning Machines: Enabling Pervasive Learning and Pervasive Intelligence)》,介绍了团队在最近三年的四个研究方向,包括突破深度学习的一些弱项、面向普适学习的超限学习机芯片、打破机器学习和生物学习之间的壁垒等。文章认为,未来将超限学习机芯片集成到硬件中,并实现实时本地在线学习,可以实现普适学习和普适智能。

随着近来以谷歌DeepMind战胜围棋大师李世乭等为代表的一系列科技发展,毫无疑问我们已经进入机器学习的时代。实际上,机器学习已经经历了预热阶段(1950年代到1970年代)和研究驱动阶段(1980年代到2010年)。现在,我们认为机器学习正在进入数据驱动时期(2010年后)。

一个真正的机器学习时代需要满足三个条件:强大的计算环境(包括分布式计算、强大的服务器和智能本地化移动设备)、丰富的动态数据和高效率的机器学习技术。

在过去的十几年里,我们的研究兴趣主要在如何跨学科地研发有关高效的机器学习的理论和技术上。具体来说,在最近三年我们的研究集中在以下四个方向:

新的神经网络学习理论

在过去几十年里,人工神经网络和支持向量机(SVM)在机器学习和数据分析领域扮演着重要的角色。深度神经网络在后期得到越来越多人的重视。然而,深度学习作为一种目前流行的机器学习技术,还面临着一些挑战,例如学习速度慢、需要大量的人工干预。

在过去几年我们已经研究和提出了新一代的学习理论——超限学习机(Extreme Learning Machines,ELM)。超限学习机的每个隐层节点也可以是由一个或多个神经元组成的子网络,由此提供一个统一的多层神经网络理论框架。

与60年来传统的学习理论不同,超限学习机理论的一个重要性质是其通用学习能力(特征学习、聚类、回归、分类等)无需通过调整隐层节点来获得,例如隐层节点可以从前辈继承或随机生成。进一步来说,超限学习机理论为传统神经网络提供了理论支持(包括局部感受域和池化策略),而这些理论正是深度学习的核心。

  • 延伸阅读:G.-B. Huang, “What are Extreme Learning Machines? Filling the Gap between Frank Rosenblatt’s Dream and John von Neumann’s Puzzle,”Cognitive Computation, vol. 7, pp. 263-278, 2015.
  • G.-B. Huang, Q.-Y. Zhu and C.-K. Siew, “Extreme Learning Machine: Theory and Applications”, Neurocomputing, vol. 70, pp. 489-501, 2006.

统一神经网络学习算法

基于超限学习机的机器学习算法对多种类型的神经网络都适用,例如小波网络和傅里叶级数。相比深度学习和支持向量机等流行的机器学习技术,在许多应用中超限学习机可以做到上万倍的学习速度提升。因此,超限学习机可以做到“实时学习”,在稀疏的数据和大型应用中也可以取得优良的结果(图1)。

图1

从理论和实际应用来看,超限学习机一般来说可以产生比支持向量机及其变体更好的学习泛化能力。超限学习机也在很多应用中比深度学习效果更好。实际上,超限学习机已经在手写数字识别、交通标志识别、手势识别和立体图形识别等标准数据集和应用中创造了新的机器学习准确度记录。

图2

ELM学习算法已经用在很多实际应用中,例如大数据分析、机器人、智能网格、健康产业、可穿戴设备、异常检测、地理科学和远程遥测。(图2)超限学习机也被用在我们的一些新加坡南洋理工大学同事们的研究中,例如基于超限学习机的短期可再生能源预报、基于超限学习机的面部表情识别和室内局部定位系统。

  • 延伸阅读:A. Akusok, K. Bjork, Y. Miche, and A. Lendasse, “High-Performance Extreme Learning Machines: A Complete Toolbox for Big Data Applications,” IEEE Open Access, vol. 3, 2015

面向普适学习的超限学习机芯片

随着物联网的深入发展,在不远的未来,大部分的设备将拥有智能与学习能力。我们相信,就如包括人类在内的生物社会一样,这些智能设备也将发展出一个互相交流的“智能体社会”(Internet of Intelligent Things)(图3)。每个智能体都嵌入有学习功能并且能相互交流。

图3

在这里,由于超限学习机的学习速度比深度学习快上万倍,它可以帮助我们实现智能体社会。超限学习机芯片可以集成到硬件中,并实现实时本地在线学习,从而实现普适学习和普适智能。这几年,我们尤其强化关于超限学习机芯片的研究,主要集中在两个方面:多核加速芯片(由助理教授Yu Hao 领导现场可编程门阵列(FPGA)和专用集成电路(ASIC)),和神经形态芯片(由助理教授Arindam Basu领导)(图4)。

图4

  • 延伸阅读:Y. Chen, E. Yao, and A. Basu, “A 128 channel Extreme Learning Machine based Neural Decoder for Brain Machine Interfaces,” (in press) IEEE Transactions on Biomedical Circuits and Systems, 2015

衔接机器学习和生物学习

超限学习机理论的目标之一是打破机器学习和生物学习之间的壁垒。尽管动物的大脑在总体上来说是结构化及有序的,在其某些层或区域,其局部结构可看成“无序”的。由此我们提出一个问题:与传统机器学习不同,在生物大脑中是否所有隐层节点都需要调整?虽然人脑中也许有几百种不同种类的生物神经元,他们的数学模型也不为人类所知,但是超限学习机理论指出一个基本的生物学习机制也许是生物神经元本身在学习中是不需要调整的,和应用是无关的。

我们的超限学习机理论可能解释由计算机之父John von Neumann最先提出的问题,即一个包含很多随机连接的“不完美”(生物)神经网络,是如何可靠地实现与需要预先理想硬件连接的计算机可媲美的“完美”功能。

为此,我们正在和神经科学家合作来研究生物学习的基本原理。生物学习系统包含着许多目前我们远未了解的基本学习原理。而我们对于机器学习和生物学习之间联系的好奇心,正是推动我们研究的动力所在。

原文发布于微信公众号 - CSDN技术头条(CSDN_Tech)

原文发表时间:2016-06-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

活动 | 机器感知、三维点云如何与深度学习擦出火花?

机器人需要在这个过程中学会如何主动感知和控制,深度学习的流行也为探索这一问题提供了一种值得借鉴和学习的方法。

1521
来自专栏人人都是极客

如何加速深度学习?GPU、FPGA还是专用芯片

计算机发展到今天,已经大大改变了我们的生活,我们已经进入了智能化的时代。但要是想实现影视作品中那样充分互动的人工智能与人机互动系统,就不得不提到深度学习。

1071
来自专栏量子位

吴恩达对话LeCun:神经网络跌宕四十年

最近,这位AI领域的传奇大牛,接受了另一位大牛吴恩达的视频专访。在这次对话中,LeCun回顾了卷积神经网络、反向传播的历史,以及他如何从一个默默无闻的“法国小孩...

1192
来自专栏AI科技评论

学界 | 五年过去,Hinton的《神经网络和机器学习》还是最好的机器学习课程吗?

AI科技评论按:Hinton的深度学习课程早在2012年上线,对于这门课程,有学者认为它太过艰深,不适合初学者上手;也有的学生觉得它受益良多,是值得一学的好课程...

3576
来自专栏大数据文摘

GAN之父Ian Goodfellow :那个赋予机器想象力的人类

2012
来自专栏机器学习算法与Python学习

机器学习资料整理(欢迎补充)

本博文所整理的机器学习书籍来自于博主平时的积累的一些资料,可能还有一些经典的机器学习书籍为包含其中,欢迎大家留言区补充,分享给大家。(本文所陈列的所有书籍电子...

40110
来自专栏数据科学与人工智能

【数据挖掘】系统如何分辨出垃圾邮件? 数据挖掘算法与现实生活中的应用案例

相对于武汉,北京的秋来的真是早,九月初的傍晚,就能够感觉到丝丝丝丝丝丝的凉意。 最近两件事挺有感觉的。 看某发布会,设计师李剑叶的话挺让人感动的。“**的设计是...

3648
来自专栏新智元

【Nature】拥抱深度学习,不要过多苛求黑箱

【新智元导读】Nature 昨日刊发新闻特写,针对AI,特别是深度学习中的黑箱问题的来龙去脉进行分析。AI 中神经网络深度学习方法的黑箱问题是科学家们一直在尝试...

4286
来自专栏量子位

再谈“炼金术”:可以使用不严谨的方法,但拒绝不严谨的评估方法

原作:inFERENCe 安妮 编译自 inference.vc 量子位 出品 | 公众号 QbitAI 昨天,NIPS大会中“Test of Time”最具时...

2625
来自专栏机器之心

深度学习在NLP领域成绩斐然,计算语言学家该不该惊慌?

选自Nautil 作者:Christopher D. Manning 机器之心编译 机器翻译、聊天机器人等自然语言处理应用正随着深度学习技术的进展而得到更广...

39312

扫码关注云+社区

领取腾讯云代金券