独家 | 香港科技大学在读博士生张鹏博:借鉴师生互动模式来训练机器学习模型

AI科技评论按,在学校教学模式中,老师扮演着重要的角色。借鉴老师与学生的师生互动模式,香港科技大学在读博士生张鹏博在他的论文A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+中提出一种基于LUPI 的 random vector functional-link 网络(RVFL+),RVFL+不需要太多的计算硬件以及时间,优势明显。

在近期雷锋网 AI研习社的线上分享会上,他为我们详细解读了A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+这篇论文,介绍了RVFL+和KRVFL+,以及它们的应用。

张鹏博,香港科技大学博士在读,于工程学院工业工程与物流管理系(即统计与运筹学系)从事机器学习的相关研究工作。他的研究兴趣包括机器学习、深度学习、优化、智能系统。 在此之前,他于 2015 年在澳门大学提前获得研究型硕士,并参与优秀毕业答辩,同时担任多个期刊和会议的审稿人。

分享内容:

这次为大家带来我最近的研究成果A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+,主要是分享我的思路,为什么这么做以及具体的应用情况。

我会先介绍这种新型的训练方式Learning using privileged information(LUPI)与传统的不同点。然后介绍之前的主要网络RVLF以及当前流行的随机性算法,之后会介绍新的两种算法RVFL+和KRVFL+。我也给出了一些实验来验证这个方法的表现,还会为大家带来一些未来的可能应用。

在学习中师生互动模式很重要,Learning using privileged information(LUPI)是在机器学习中借鉴了这种模式,来训练我们的机器学习模型。

LUPI第一次提出是在2009年的一篇论文里用来训练SVM,与传统学习模式的不同是在训练阶段,传统的模式由xi和yi组成,xi是指训练集中的feature,yi是label。新型训练方式中训练集中增加了一项,表示额外信息,类似于学习中老师给我们的信息一样。

下面给出了SVM和SVM+这两种方法的主形式,如果大家熟悉机器学习,那么SVM的形式应该会很熟悉,SVM+与SVM的不同是多引入了一个参数,如公式所示。

接下来给大家介绍Random vector functional-link网络,它是一种前馈单层的神经网络,于1992年提出,示意图如下所示,只有一个隐含层。输入层和输出层直接相连可以有效防止网络过拟合。

为什么RVFL网络很简单,但是工作得很好?下图中是一些解释文献。我们希望训练数据中,同类之间角度小,不同的类之间角度大。RVFL网络是用混合的模式来训练所有网络。

在当今大数据的时代,对于计算的能力要求非常高,这种混合的训练策略计算花费非常便宜,在未来也是研究的热点。

简单介绍几个当前流行的随机方法:前三个Random projection、Random forests、Bagging是十多年前提出来的,大家对于这三个并不陌生。我会主要介绍随机神经网络,有兴趣的同学可以看下我在最后列出的参考文献。

接下来为大家介绍新的RVFL+方法,RVFL网络可以写成如下所示:

我们引进了LUPI这种新型的训练方式来训练我们的RVFL网络:

下一步构建拉格朗日方程,感兴趣的同学可以在论文里看到如何详细的得到输出权重的整个过程。

接下来看一下RVFL+的伪码,下面是详细的输入输出。

我们不仅提出了RVFL+,也提出了它的kernel版本——KRVFL+,这是为了更好的处理非线性问题。KRVFL+相比于RVFL+有两个主要的优势,一是不需要考虑增强节点的个数,二是消除了RVFL+的不稳定性。

感兴趣的同行可以在我的论文里看到KRVFL+的具体方程,在这里就不具体列出来了,简单给大家介绍一下KRVFL+的伪码,如下所示,它与RVFL+比较相似。

现在分析RVFL+的一些统计特征,主要是基于Rademacher复杂性。

现在看实验,我们在14个数据集上评估了模型的效果,包括1个二项分类数据集,8个多项分类数据集和5个回归数据集,今天的讲座里我给大家分享二项分类数据集的实验。

看一下实验结果,可以看到KRVFL+可以获得93.71%的准确度,训练时间只用了0.005s,在所有模型里面是最快的。RVFL+虽然相比高斯kernel的准确度不高,但相比线性kernel还是有很明显的优势。RVFL+不需要太多的计算硬件以及时间。

RVFL+和KRVFL+有如下实际应用,后期大家可以进行相关探索。

在此提出感谢:

我的引用文献如下:

论文地址:https://arxiv.org/abs/1708.08282

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

何时不应使用深度学习?

611
来自专栏重庆的技术分享区

吴恩达-神经网络和深度学习(第一周深度学习概论)

1424
来自专栏机器之心

观点 | 用几何学提升深度学习模型性能,是计算机视觉研究的未来

选自 Alexgkendall.com 作者:Alex Kendall 机器之心编译 参与:候韵楚、黄小天 深度学习使计算机视觉得以蜕变。如今,绝大多数问题的...

3406
来自专栏AI研习社

数据挖掘竞赛的套路就在这里了,看完本文全明白!

前言 刚好在暑假通过参加 Kaggle 的 Zillow Prize 比赛来让我在数据挖掘和机器学习中完成了菜逼到 Level 1 的转变,借这个平台总结一...

4268
来自专栏AI科技评论

开发 | 聊聊数据挖掘竞赛中的套路与深度学习的局限

AI 科技评论按:本文原作者兔子老大,原载于其知乎专栏——MLの玄学姿势。转载已获得授权。 前言 刚好在暑假通过参加 kaggle 的 Zillow Prize...

3325
来自专栏前沿技墅

“机器学习”三重门,“中庸之道”趋若人

博士毕业于电子科技大学,美国西北大学访问学者,现执教于河南工业大学。中国计算机协会(CCF)会员,CCF YOCSEF郑州2018—2019年度副主席,ACM/...

1184
来自专栏PPV课数据科学社区

大数据分析到底需要多少种工具

1.分类方法大比武 大数据分析主要依靠机器学习和大规模计算。机器学习包括监督学习、非监督学习、强化学习等,而监督学习又包括分类学习、回归学习、排序学习、匹配学习...

3265
来自专栏大数据文摘

在等吴恩达深度学习第5课的时候,你可以先看看第4课的笔记

1553
来自专栏AI科技大本营的专栏

AI 技术讲座精选:数据科学的缺陷

业内人士都知道,数据科学有很多缺陷。 模型是未知的 建立机器学习模型的目的是为了应用,而不是理解。 能解释清楚的也只有那些最简单的模型。线性模型第一眼看起来的...

2595
来自专栏人工智能快报

Nvidia最新AI技术可制作以假乱真的视频

Nvidia人工智能研究人员开发出了一种无人监督的计算机学习方法,允许其对源视频进行彻底的改变,从而出产惊人的内容,如能够制作出如假包换的天气、昼夜效果,甚至改...

2734

扫描关注云+社区