独家 | 香港科技大学在读博士生张鹏博:借鉴师生互动模式来训练机器学习模型

AI科技评论按,在学校教学模式中,老师扮演着重要的角色。借鉴老师与学生的师生互动模式,香港科技大学在读博士生张鹏博在他的论文A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+中提出一种基于LUPI 的 random vector functional-link 网络(RVFL+),RVFL+不需要太多的计算硬件以及时间,优势明显。

在近期雷锋网 AI研习社的线上分享会上,他为我们详细解读了A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+这篇论文,介绍了RVFL+和KRVFL+,以及它们的应用。

张鹏博,香港科技大学博士在读,于工程学院工业工程与物流管理系(即统计与运筹学系)从事机器学习的相关研究工作。他的研究兴趣包括机器学习、深度学习、优化、智能系统。 在此之前,他于 2015 年在澳门大学提前获得研究型硕士,并参与优秀毕业答辩,同时担任多个期刊和会议的审稿人。

分享内容:

这次为大家带来我最近的研究成果A New Learning Paradigm for Random Vector Functional-Link Network: RVFL+,主要是分享我的思路,为什么这么做以及具体的应用情况。

我会先介绍这种新型的训练方式Learning using privileged information(LUPI)与传统的不同点。然后介绍之前的主要网络RVLF以及当前流行的随机性算法,之后会介绍新的两种算法RVFL+和KRVFL+。我也给出了一些实验来验证这个方法的表现,还会为大家带来一些未来的可能应用。

在学习中师生互动模式很重要,Learning using privileged information(LUPI)是在机器学习中借鉴了这种模式,来训练我们的机器学习模型。

LUPI第一次提出是在2009年的一篇论文里用来训练SVM,与传统学习模式的不同是在训练阶段,传统的模式由xi和yi组成,xi是指训练集中的feature,yi是label。新型训练方式中训练集中增加了一项,表示额外信息,类似于学习中老师给我们的信息一样。

下面给出了SVM和SVM+这两种方法的主形式,如果大家熟悉机器学习,那么SVM的形式应该会很熟悉,SVM+与SVM的不同是多引入了一个参数,如公式所示。

接下来给大家介绍Random vector functional-link网络,它是一种前馈单层的神经网络,于1992年提出,示意图如下所示,只有一个隐含层。输入层和输出层直接相连可以有效防止网络过拟合。

为什么RVFL网络很简单,但是工作得很好?下图中是一些解释文献。我们希望训练数据中,同类之间角度小,不同的类之间角度大。RVFL网络是用混合的模式来训练所有网络。

在当今大数据的时代,对于计算的能力要求非常高,这种混合的训练策略计算花费非常便宜,在未来也是研究的热点。

简单介绍几个当前流行的随机方法:前三个Random projection、Random forests、Bagging是十多年前提出来的,大家对于这三个并不陌生。我会主要介绍随机神经网络,有兴趣的同学可以看下我在最后列出的参考文献。

接下来为大家介绍新的RVFL+方法,RVFL网络可以写成如下所示:

我们引进了LUPI这种新型的训练方式来训练我们的RVFL网络:

下一步构建拉格朗日方程,感兴趣的同学可以在论文里看到如何详细的得到输出权重的整个过程。

接下来看一下RVFL+的伪码,下面是详细的输入输出。

我们不仅提出了RVFL+,也提出了它的kernel版本——KRVFL+,这是为了更好的处理非线性问题。KRVFL+相比于RVFL+有两个主要的优势,一是不需要考虑增强节点的个数,二是消除了RVFL+的不稳定性。

感兴趣的同行可以在我的论文里看到KRVFL+的具体方程,在这里就不具体列出来了,简单给大家介绍一下KRVFL+的伪码,如下所示,它与RVFL+比较相似。

现在分析RVFL+的一些统计特征,主要是基于Rademacher复杂性。

现在看实验,我们在14个数据集上评估了模型的效果,包括1个二项分类数据集,8个多项分类数据集和5个回归数据集,今天的讲座里我给大家分享二项分类数据集的实验。

看一下实验结果,可以看到KRVFL+可以获得93.71%的准确度,训练时间只用了0.005s,在所有模型里面是最快的。RVFL+虽然相比高斯kernel的准确度不高,但相比线性kernel还是有很明显的优势。RVFL+不需要太多的计算硬件以及时间。

RVFL+和KRVFL+有如下实际应用,后期大家可以进行相关探索。

在此提出感谢:

我的引用文献如下:

论文地址:https://arxiv.org/abs/1708.08282

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-11-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏菩提树下的杨过

winform中linkLabel的用法(示例)

private void Form1_Load(object sender, EventArgs e)         {             this...

1935
来自专栏成长道路

JDBC动态SQL语句连接orcale数据库的工具类

import java.sql.Connection; import java.sql.DriverManager; import java.sql.P...

2520
来自专栏码匠的流水账

聊聊spring cloud的AbstractLoadBalancingClient

本文主要研究一下spring cloud的AbstractLoadBalancingClient

852
来自专栏c#开发者

C# : row-clickable GridView and get and set gridview rows using JavaScript

Complete C# code: ---------------- using System; using System.ComponentModel; ...

3006
来自专栏码匠的流水账

聊聊EurekaRibbonClientConfiguration

spring-cloud-netflix-eureka-client-2.0.0.RELEASE-sources.jar!/org/springframewor...

1171
来自专栏葡萄城控件技术团队

Table-values parameter(TVP)系列之二: 利用DataTable将其作为参数传给SP

一,回顾         上一部分讲述了“在T-SQL中创建和使用TVP”,通过T-SQL建立如下的对象:         1)Tables ...

2069
来自专栏菩提树下的杨过

SqlTransaction事务使用示例

using System; using System.Data; using System.Data.SqlClient; using System.Co...

1878
来自专栏积累沉淀

Hive2.0.0操作HBase 1.2.1报错解决

首先看错  org.apache.hive.service.cli.HiveSQLException: Failed to open new session: ...

2369
来自专栏跟着阿笨一起玩NET

winform treeView 数据绑定

982
来自专栏张善友的专栏

Using sqlite with .NET

The other day I found that there is a .NET wrapper for sqlite. sqlite is a very ...

2318

扫码关注云+社区