大会 | 优必选悉尼AI研究院AAAI 2018顶会论文一览

AI 科技评论按:第 32 届人工智能顶级会议 AAAI 2018 在美国新奥尔良召开。在今年的 AAAI 上,优必选悉尼 AI 研究院共有 5 篇论文入选,其中 3 篇 oral,2 篇 poster。

在 AI 科技评论推出的数据库项目「AI 影响因子」中,优必选悉尼 AI 研究院已经凭借 4 篇 CVPR 录用论文上榜「AI 影响因子论文类目活跃企业」。优必选悉尼 AI 研究院也即将在五月份于 AI 慕课学院上做论文解读的直播分享,敬请期待。

论文 1:Domain Generalization via Conditional Invariant Representation

为了将从源域的数据里学习到的模型泛化到将来的某个目标域,我们的方法希望学习到域不变的特征。以前的域自适应方法都是通过匹配特征的边缘分布 P(X) 来学习域不变特征,但是这种方法假设 P(Y|X) 在不同的域稳定不变,现实情况很难保证。我们提出通过匹配条件概率 P(X|Y) 并同时衡量 P(Y) 的变化来保证不同域之间的联合分布 P(X,Y) 相同。条件域不变特征通过两个损失函数进行学习,一个衡量以类为条件的分布差异,一个衡量以类别归一化的边缘概率分布的差异,从而达到匹配联合分布的效果。如果目标域的 P(Y) 变化不大,那么我们可以保证得到很好的匹配目标域的特征。

论文 2:Adversarial Learning of Portable Student Networks

学习具有较少参数的深度神经网络的方法是迫切需要的,因为重型神经网络的庞大的存储和计算需求在很大程度上阻止了它们在移动设备上的广泛使用。与直接去除权值或卷积核以获得比较大的压缩比和加速比的算法相比,使用教师网络-学生网络学习框架的模式来训练轻型网络是一种更灵活的方法。然而,在实际应用中,我们很难确定利用哪一种度量方式来从教师网络中选择有用的信息。为了克服这一挑战,我们提出利用生成对抗网络来学习轻型的学生神经网络,具体地,生成器网络就是一个具有非常少权值参数的学生神经网络,判别器网络被当作一个助教,用来区分学生神经网络和教师神经网络所生成的特征。通过同时地优化生成器网络和判别器网络,本文生成的学生神经网络可以对输入数据生成具有跟教师神经网络特征具有同样分布的特征。

论文 3: Reinforced Multi-label Image Classification by Exploring Curriculum

人和动物学习经过组织的知识比学习杂乱的知识更为高效。基于课程学习的机制,我们提出了一种强化多标签分类的方法来模拟人类从易到难预测标签的过程。这种方法让一个强化学习的智能体根据图像的特征和已预测的标签有顺序地进行标签预测。进而,它通过寻求一种使累计奖赏达到最大的方法来获得最优策略,从而使得多标签图像分类的准确性最高。我们在 PASCAL VOC2007 和 PASCAL VOC2012 数据集上的实验表明了,在真实的多标签任务中,这种强化多标签图像分类方法的必要性和有效性。

论文 4: Learning with Single-Teacher Multi-Student

本文研究了如何通过一个单一的复杂通用模型来学习一系列的轻量专用模型,即单老师多学生 (Single-Teacher Multi-Student) 问题。以经典的多分类和二分类为例,本文围绕着如何利用一个预训练的多分类模型来衍生出多个二分类模型,其中每个二分类模型对应不同的类别。在实际场景中,许多问题可以被看做这一范畴;例如,基于一个通用的人脸识别系统对于特定的嫌犯进行快速准确地判断。然而,直接使用多分类模型进行二分类操作的推断效率不高,从头训练一个二分类器的分类表现往往不好。本文通过将多分类器看做老师,将目标的二分类器看做学生,提出了一种门化支持向量机 (gated SVM) 模型。此模型中,每一个二分类器可以结合多分类器的推断结果给出自己的预测;此外,每个学生可以获得由老师模型给出的样本复杂度度量,使得训练过程更加自适应化。在实际实验中,所提模型取得了不错的效果。

论文 5: Sequence-to-Sequence Learning via Shared Latent Representation

受人脑可以从不同的模态学习和表达同一抽象概念的启发,本文提出了一个通用的星状框架实现序列到序列的学习。该模型中将不同模态的内容(外围节点)编码到共享隐表征(shared latent representation,SLR),即中央节点中。SLR 的模态不变属性可以被视为中间向量的高级正则化,强制它不仅捕获每个单个模态的隐式表示(如自动编码器),而且还可以像映射模型一样进行转换。因此,我们可以从单个或多个模态学习 SLR,并且生成相同的(例如句子到句子)或不同的(视频到句子)的模态信息。星型结构将输入与输出分离,为各种序列学习应用提供了一个通用且灵活的框架。此外,SLR 模型是内容相关(content-specific)的,这意味着它只需要对数据集进行一次训练,就可以用于不同的任务。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2018-04-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

深度 | 思考VC维与PAC:如何理解深度神经网络中的泛化理论?

39640
来自专栏PPV课数据科学社区

贝叶斯、概率分布与机器学习

一. 简单的说贝叶斯定理: 贝叶斯定理用数学的方法来解释生活中大家都知道的常识 形式最简单的定理往往是最好的定理,比如说中心极限定理,这样的定理往往会成为某一个...

390100
来自专栏机器之心

深度 | 变分自编码器VAE面临的挑战与发展方向

选自akosiorek 机器之心编译 参与:刘天赐、李泽南 变分自编码器(VAE)与生成对抗网络(GAN)一样,是无监督学习最具前景的方法之一。本文中,牛津大学...

33650
来自专栏PPV课数据科学社区

【干货长文】神经网络浅讲:从神经元到深度学习

  神经网络是一门重要的机器学习技术。它是目前最为火热的研究方向–深度学习的基础。学习神经网络不仅可以让你掌握一门强大的机器学习方法,同时也可以更好地帮助你理解...

31880
来自专栏机器学习算法工程师

《机器学习》笔记-聚类(9)

17650
来自专栏数据派THU

【独家】一文读懂聚类算法

1. 聚类的基本概念 1.1 定义 聚类是数据挖掘中的概念,就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能...

41470
来自专栏自学笔记

机器学习可行性与VC dimension

在银行评估贷款申请人的授信请求前,会进行风险评估。符合申请则通过,反之驳回。长时间的数据和申请使得银行从中找到了一些规律并开始learning,所以风险评估就是...

35340
来自专栏达观数据

课堂总结 | 达观数据文本挖掘负责人分享文本分类方法和应用案例

新媒体管家 自然语言处理(NLP)一直是人工智能领域的重要话题,而人类语言的复杂性也给NLP布下了重重困难等待解决。随着深度学习(Deep Learning)的...

63260
来自专栏机器之心

深度学习贝叶斯,这是一份密集的6天速成课程(视频与PPT)

多数讲师和助教都是贝叶斯方法研究团队的成员以及来自世界顶级研究中心的研究者。很多讲师曾经在顶级国际机器学习会议例如 NIPS、ICML、ICCV、CVPR、IC...

18510
来自专栏决胜机器学习

循环神经网络(五) ——Bean搜索、bleu评分与注意力模型

20360

扫码关注云+社区

领取腾讯云代金券