专栏首页人工智能前沿讲习SFFAI分享 | 常建龙:基于关系的深度学习【附PPT与视频资料】

SFFAI分享 | 常建龙:基于关系的深度学习【附PPT与视频资料】

作者简介


常建龙,师从潘春洪和向世明研究员,中国科学院自动化研究所在读博士生,主要研究方向为基于关系的深度学习,包括自动机器学习、网络压缩、深度图网络、深度无监督学习等等。目前已在IEEE T-PAMI(2篇), NeurIPS和ICCV (Oral) 等机器学习与计算机视觉顶级期刊和会议发表学术论文。

0. 引言


作为当下最受欢迎的机器学习方法之一,深度神经网络在很多领域取得了非凡的成绩。但是目前的深度神经网络模型依旧存在很多局限性,例如无法自动地设计网络结构、无法有效地学习无标签数据的特征、很难处理嵌入在非欧几里得空间的数据和无标签的数据等等。为此,我们通过建模深度神经网络中变量之间的关系来解决以上问题并提升深度神经网络的性能,例如通过考虑神经网络中层与层之间的关系来自动学习网络结构、通过考虑参数与参数之间的关系来压缩模型、通过考虑特征与特征之间的关系来处理非欧式空间中的数据、通过考虑样本于样本之间的关系来聚类无标签数据等等。

图1:机器学习与深度学习中关系建模的不同体现,即网页检索中不同网页之间的关系、推荐系统中用户和商品之间的关系、神经网络中不同节点之间的关系。

1. 深度无监督学习 – 不同样本之间的关系


为了用深度学习模型更好地处理大量的无标签数据,我们通过研究两两样本之间的关系来处理聚类问题。通过逐渐确定同类和不同类的样本来训练网络,提出的DAC模型可以直接学习数据的高层语义特征进行聚类分析。从基本定义来看,聚类的目的是将相似的数据聚为同类,将不相似的数据聚为不同类。根据以上定义,我们通过讨论成对样本之间的相关性来将每个样本映射为one-hot的向量以实现聚类的目的。在实际中,该模型不仅可以处理多种数据的聚类任务,例如:图像,文本,音频等等,还有着很好的理论基础来保证模型的有效性。算法流程图如下图所示。

2. 非欧空间数据处理 – 不同特征之间的关系


由于局部输入的无序性和维度的可变性,传统卷积网络很难处理这种处于非欧几里得空间的数据。为了解决这个问题,时空大数据处理团队(STDAL)的常建龙博士、向世明研究员、潘春洪研究员等人提出了结构感知卷积神经网络来处理一般结构的数据,而不是仅局限于处理欧氏空间的数据。根据“数据=特征+结构”的基本假设,我们对传统卷积做了两个泛化来达到以上目的。第一,将离散的有限维卷积核泛化为连续的无穷维卷积核,即单变量函数;第二,将结构信息建模到卷积中。算法流程图如下图所示。大量的实验证明,结构感知卷积网络可以高效地在GPU上处理各种基于不同结构数据的任务,例如,图像分类和聚类、交通流量预测、分子活性预测等等。

3. 网络结构学习 – 不同层之间的关系


在网络结构学习中,我们将不同层之间的关系看作是一个选择不同层之间操作的多分类问题。由于类别数目无法确定,我们提出了集成的Gumbel-Softmax来搜索高性能的网络结构。由于Gumbel-Softmax可以有效并高效地用一种可微的方式来优化离散空间结构。我们集成的Gumbel-Softmax方法也可以保证搜索过程的可微性,并且可以最大化地保证网络结构在训练和测试过程中的一致性,使得模型的性能和效率可以同时得到可观的提升。算法流程图如下图所示。

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier),作者:常建龙

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-07-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • CCAI 2019 | 郑南宁:“直觉性AI技术”可助力无人驾驶

    2019年中国人工智能大会(Chinese Congress on Artificial Intelligence 2019,简称“CCAI 2019”)将于在...

    马上科普尚尚
  • 【AIDL专栏】王井东:深度融合——一种神经网络结构设计模式

    深度学习,是最近十年来才发展起来的。2006年Hinton发表在Science的文章【1】首次提出了深度学习的概念,但当时没有很多人认可深度学习。深度学习真正引...

    马上科普尚尚
  • AI综述专栏| 国内近三年模式分类研究现状综述(附PDF)

    在科学研究中,从方法论上来讲,都应先见森林,再见树木。当前,人工智能科技迅猛发展,万木争荣,更应系统梳理脉络。为此,我们特别精选国内外优秀的综述论文,开辟“综述...

    马上科普尚尚
  • Mac XCode FFmpeg 开发环境配置

    这个可以参考我前一篇文章Mac FFmpeg x265, aac, ffplay编译安装

    望天
  • RCNN学习笔记(7):Faster R-CNN 英文论文翻译笔记

    reference link:http://blog.csdn.net/liumaolincycle/article/details/48804687

    用户1908973
  • 架构的本质是管理复杂性,微服务本身也是架构演化的结果

    为应对如今无线优先和全渠道用户体验的需求和挑战,我们该如何设计灵活的面向体验的微服务架构?它有哪些模式和最佳实践?携程,Netflix和SoundCloud这些...

    技术zhai
  • 架构与微服务本质论

    为应对如今无线优先和全渠道用户体验的需求和挑战,我们该如何设计灵活的面向体验的微服务架构?它有哪些模式和最佳实践?携程,Netflix和SoundCloud这些...

    技术zhai
  • 机器学习/机器智能/人工智能/深度学习这些都是些啥?

    我们经常被问到我们如何区分我们与其他人的技术。这个任务由于没有公认的词汇而变得困难; 每个人都不同地使用上述术语(和其他相关术语)。此外,这些术语中的一些的一般...

    哒呵呵
  • 记一次补数据的经历

    在20171228交易日收市结束后,对2017年历史库hisdb中归档到historysettlement这个schema的增备数据进行了例行检查,经过与生产库...

    小尘哥
  • Gemalto | 2016上半年泄露级别指数调查报告

    与前六个月相比,数据泄露数量和泄露的数据记录 ——数量分别增长15%和31%; ——身份和个人数据盗窃占所有数据泄露数量的64%; ——医疗保健组织占所有数据泄...

    FB客服

扫码关注云+社区

领取腾讯云代金券