独家 | 香港科技大学在读博士生张鹏博:借鉴师生互动模式来训练机器学习模型

AI科技评论按,在学校教学模式中,老师扮演着重要的角色。借鉴老师与学生的师生互动模式,香港科技大学在读博士生张鹏博在他的论文A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+中提出一种基于LUPI 的 random vector functional-link 网络(RVFL+),RVFL+不需要太多的计算硬件以及时间,优势明显。

在近期雷锋网 AI研习社的线上分享会上,他为我们详细解读了A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+这篇论文,介绍了RVFL+和KRVFL+,以及它们的应用。

张鹏博,香港科技大学博士在读,于工程学院工业工程与物流管理系(即统计与运筹学系)从事机器学习的相关研究工作。他的研究兴趣包括机器学习、深度学习、优化、智能系统。 在此之前,他于 2015 年在澳门大学提前获得研究型硕士,并参与优秀毕业答辩,同时担任多个期刊和会议的审稿人。

分享内容:

这次为大家带来我最近的研究成果A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+,主要是分享我的思路,为什么这么做以及具体的应用情况。

我会先介绍这种新型的训练方式Learning using privileged information(LUPI)与传统的不同点。然后介绍之前的主要网络RVLF以及当前流行的随机性算法,之后会介绍新的两种算法RVFL+和KRVFL+。我也给出了一些实验来验证这个方法的表现,还会为大家带来一些未来的可能应用。

在学习中师生互动模式很重要,Learning using privileged information(LUPI)是在机器学习中借鉴了这种模式,来训练我们的机器学习模型。

LUPI第一次提出是在2009年的一篇论文里用来训练SVM,与传统学习模式的不同是在训练阶段,传统的模式由xi和yi组成,xi是指训练集中的feature,yi是label。新型训练方式中训练集中增加了一项,表示额外信息,类似于学习中老师给我们的信息一样。

下面给出了SVM和SVM+这两种方法的主形式,如果大家熟悉机器学习,那么SVM的形式应该会很熟悉,SVM+与SVM的不同是多引入了一个参数,如公式所示。

接下来给大家介绍Random vector functional-link网络,它是一种前馈单层的神经网络,于1992年提出,示意图如下所示,只有一个隐含层。输入层和输出层直接相连可以有效防止网络过拟合。

为什么RVFL网络很简单,但是工作得很好?下图中是一些解释文献。我们希望训练数据中,同类之间角度小,不同的类之间角度大。RVFL网络是用混合的模式来训练所有网络。

在当今大数据的时代,对于计算的能力要求非常高,这种混合的训练策略计算花费非常便宜,在未来也是研究的热点。

简单介绍几个当前流行的随机方法:前三个Random projection、Random forests、Bagging是十多年前提出来的,大家对于这三个并不陌生。我会主要介绍随机神经网络,有兴趣的同学可以看下我在最后列出的参考文献。

接下来为大家介绍新的RVFL+方法,RVFL网络可以写成如下所示:

我们引进了LUPI这种新型的训练方式来训练我们的RVFL网络:

下一步构建拉格朗日方程,感兴趣的同学可以在论文里看到如何详细的得到输出权重的整个过程。

接下来看一下RVFL+的伪码,下面是详细的输入输出。

我们不仅提出了RVFL+,也提出了它的kernel版本——KRVFL+,这是为了更好的处理非线性问题。KRVFL+相比于RVFL+有两个主要的优势,一是不需要考虑增强节点的个数,二是消除了RVFL+的不稳定性。

感兴趣的同行可以在我的论文里看到KRVFL+的具体方程,在这里就不具体列出来了,简单给大家介绍一下KRVFL+的伪码,如下所示,它与RVFL+比较相似。

现在分析RVFL+的一些统计特征,主要是基于Rademacher复杂性。

现在看实验,我们在14个数据集上评估了模型的效果,包括1个二项分类数据集,8个多项分类数据集和5个回归数据集,今天的讲座里我给大家分享二项分类数据集的实验。

看一下实验结果,可以看到KRVFL+可以获得93.71%的准确度,训练时间只用了0.005s,在所有模型里面是最快的。RVFL+虽然相比高斯kernel的准确度不高,但相比线性kernel还是有很明显的优势。RVFL+不需要太多的计算硬件以及时间。

RVFL+和KRVFL+有如下实际应用,后期大家可以进行相关探索。

在此提出感谢:

我的引用文献如下:

论文地址:https://arxiv.org/abs/1708.08282

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

干货 | 康奈尔博士后黄高:如何设计高效地卷积神经网络

AI 科技评论按:卷积神经网络则是深度学习最具代表性的模型,在计算机视觉和自然语言翻译等领域有着极其广泛的应用。随着精度以及复杂度的逐步提升,卷积网络的推理效率...

37911
来自专栏AI科技评论

学界 | OpenAI“;巧妙”发现无监督情感神经元,可利用文本检测用户情感

AI科技评论4月7日消息,OpenAI在官网公布了一项最新的研究成果,介绍了一个可以高效学习情感表征的无监督系统,目前能够预测亚马逊评论中的下一个字符。 研究人...

3549
来自专栏AI科技评论

学界 | AAAI 18论文解读:基于强化学习的时间行为检测自适应模型

AI 科技评论按:互联网上以视频形式呈现的内容在日益增多,对视频内容进行高效及时的审核也变得越来越迫切。因此,视频中的行为检测技术也是当下热点研究任务之一。本文...

3066
来自专栏SIGAI学习与实践平台

机器学习-波澜壮阔40年

人工智能的再次兴起让机器学习(Machine Learning)这个名词进入了公众的视野,它成为当前解决很多人工智能问题的核心基石。

491
来自专栏数据派THU

独家 | 一文解析统计学在机器学习中的重要性(附学习资源)

本文共2400字,建议阅读10分钟。 本文介绍为什么统计对于通用应用和机器学习如此重要,并大致了解各种可用的方法。

1004
来自专栏人工智能头条

计算机视觉需要更多几何洞察

1664
来自专栏机器之心

深度 | 卷积神经网络十五问:CNN与生物视觉系统的研究探索

和我近期的大多数博文一样,我写这篇文章的起因是近期一个 Twitter 讨论,具体是关于如何将深度卷积神经网络(CNN)的组件与大脑联系起来。但是,这里的大多数...

840
来自专栏灯塔大数据

福利|清华大学开源神经机器翻译工具包THUMT

机器翻译是自然语言处理的重要组成部分,其目的是使用计算机自动将文本翻译成其他语言的形式。近年来,端到端的神经机器翻译发展迅速,已经成为机器翻译系统的新主流。近...

3385
来自专栏机器之心

ICLR 2018 | CMU提出新型智能体定位方法:「主动神经定位器」

35911
来自专栏华章科技

实景照片秒变新海诚风格漫画:清华大学提出CartoonGAN

CartoonGAN 的预训练模型,其中包括宫崎骏、细田守、今敏(动画电影《红辣椒》)和新海诚风格:

822

扫码关注云+社区