专栏首页arxiv.org翻译专栏MHVAE:用于多模态表征学习的人类启发的深度层次生成模型(CS LG)
原创

MHVAE:用于多模态表征学习的人类启发的深度层次生成模型(CS LG)

人类能够创造丰富的外部现实表征。他们的内部表征允许跨模态推理,其中可用的感知可以诱发缺失输入模态的感知体验。在本文中,我们贡献了多模态层次变异自动编码器(Multimodal Hierarchical Variational Auto-encoder,MHVAE),这是一个用于表征学习的层次化多模态生成模型。受人类认知模型的启发,MHVAE 能够学习任意数量的模态特定分布,以及负责跨模态推理的联合模态分布。我们正式推导出该模型的证据下限,并提出了一种新的方法论,基于模态特异性表征辍学来逼近联合模态后验。我们在标准多模态数据集上评估了 MHVAE。我们的模型在从任意输入模态和跨模态推理的联合模态重建方面与其他最先进的生成模型表现相当。

原文题目:MHVAE: a Human-Inspired Deep Hierarchical Generative Model for Multimodal Representation Learning

原文:Humans are able to create rich representations of their external reality. Their internal representations allow for cross-modality inference, where available perceptions can induce the perceptual experience of missing input modalities. In this paper, we contribute the Multimodal Hierarchical Variational Auto-encoder (MHVAE), a hierarchical multimodal generative model for representation learning. Inspired by human cognitive models, the MHVAE is able to learn modality-specific distributions, of an arbitrary number of modalities, and a joint-modality distribution, responsible for cross-modality inference. We formally derive the model's evidence lower bound and propose a novel methodology to approximate the joint-modality posterior based on modality-specific representation dropout. We evaluate the MHVAE on standard multimodal datasets. Our model performs on par with other state-of-the-art generative models regarding joint-modality reconstruction from arbitrary input modalities and cross-modality inference.

原文作者:Miguel Vasco, Francisco S. Melo, Ana Paiva

原文地址:https://arxiv.org/abs/2006.02991

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 深度学习在医学影像上的应用(二)——图像重建及后处理,标注,回归,配准,图像超分辨率

    上一篇给大家介绍了深度学习在医学影像上分类的应用案例,这一篇我将分享深度学习在医学影像上关于图像重建及后处理,图像标注,图像配准,图像超分辨率和回归的应用。

    医学处理分析专家
  • 双周动态|韩运营商LG U+6月将关闭韩国最后的2G网络;AI算法可将试管婴儿成功率提高3倍;硬件钱包有望拓展数字人民币应用场景

    据韩联社报道,韩国电信运营商LG U+(LG Uplus)表示该公司将于今年6月底之前终止提供2G服务,此举将标志着韩国2G网络的彻底终结。

    灯塔大数据
  • 探索由电池供电的移动设备上深度卷积神经网络的训练:设计与应用(CS LG)

    移动设备上快速发展的智能应用利用预训练的深度学习模型进行推理。然而,这些模型通常不会在此后进行更新。这给适应新的数据分布留下了很大的差距。在本文中,我们进一步将...

    刘持诚
  • 一种不确定性量化的糖尿病视网膜病变分类的主动学习方法(CS LG)

    近年来,深度学习(DL)技术已在不同的医学成像任务上提供了最先进的性能。然而,由于所涉及的时间限制以及专家注释(例如放射线医生)的可用性,高质量注释医学数据的可...

    毛艺漩8078803
  • 金融/语音/音频处理学术速递[6.28]

    【1】 Sovereign wealth funds: main activity trends 标题:主权财富基金:主要活动趋势

    公众号-arXiv每日学术速递
  • 重磅综述—从fMRI动态角度窥探认知与神经病理学机制

    人类行为包括许多因其动态特性而突出的方面。为了量化它的神经基础,时间分辨的功能磁共振成像方法在过去十年得到了发展。在这篇综述中,我们概念性地组织了一个广泛的动态...

    悦影科技
  • 博客 | NLP应该如何学、如何教?斯坦福大学大牛Dan Jurafsky教授专访

    雷锋网 AI 科技评论按:自然语言处理是一个高度跨学科的领域,包含了语言学、计算机科学、统计学等等许多传统学科的内容。在课堂中,自然语言处理的教师者们要根据课程...

    AI研习社
  • NLP应该如何学、如何教?斯坦福大学大牛Dan Jurafsky教授专访

    AI 科技评论按:自然语言处理是一个高度跨学科的领域,包含了语言学、计算机科学、统计学等等许多传统学科的内容。在课堂中,自然语言处理的教师者们要根据课程长度、学...

    AI科技评论
  • 深层神经网络输入输出层在对抗性防御中的作用探讨(CS LG)

    深层神经网络是一种在前景预测、计算机视觉、语言处理等领域都取得了最新成果的学习模型,然而,已有研究表明,存在某些特定输入不会误导人类,但可能会完全误导模型,这些...

    Elva
  • 【技术解析】PointNet系列论文解读

    技术解析是由美团点评无人配送部技术团队主笔,每期发布一篇无人配送领域相关技术解析或应用实例,本期为您带来的是论文PointNet系列论文解读。

    美团无人配送
  • 【大咖解读Bengio笔记】邓侃:用深度学习模型,解构并重构人类思维

    【新智元导读】Yoshua Bengio 在 Arxiv 上发表了一篇题为《意识先验》的笔记。大数医达创始人、CMU 计算机学院暨机器人研究所博士邓侃专为此笔记...

    新智元
  • 视频中的深度学习

    视频分级介绍 视频分析是计算机视觉领域中的一项重要研究内容。它借助计算机和视频采集设备,在无人监督的情况下,自动完成人类视觉的部分功能。对人类视觉皮层机理的研...

    计算机视觉研究院
  • LG首席技术官详解公司的AI优先策略

    大约一年前,LG宣布推出DeepThinQ,这是一个专为移动设备,智能家居产品和机器人解决方案设计的总体AI平台。几个月后,2017年6月,它在韩国开设了一个实...

    AiTechYun
  • 从单幅图像到双目立体视觉的3D目标检测算法

    经典的计算机视觉问题是通过数学模型或者统计学习识别图像中的物体、场景,继而实现视频时序序列上的运动识别、物体轨迹追踪、行为识别等等。然而,由于图像是三维空间在光...

    SIGAI学习与实践平台
  • 从单幅图像到双目立体视觉的3D目标检测算法(长文)

    经典的计算机视觉问题是通过数学模型或者统计学习识别图像中的物体、场景,继而实现视频时序序列上的运动识别、物体轨迹追踪、行为识别等等。然而,由于图像是三维空间在光...

    小白学视觉
  • 上海联通大数据与机器学习驱动的离网预测模型

    用户1737318
  • DeepMind论文:深度压缩感知,新框架提升GAN性能(附链接)

    CS具有灵活性和数据效率高的优点,但由于其稀疏性和昂贵的重建过程,CS的应用受到限制。

    数据派THU
  • DeepMind论文:深度压缩感知,新框架提升GAN性能

    CS具有灵活性和数据效率高的优点,但由于其稀疏性和昂贵的重建过程,CS的应用受到限制。

    新智元
  • CVPR2020 Oral | 动态多尺度图表达3D人体骨架运动,实现精准预测效果超SOTA

    现有的基于3D人体骨架的运动预测方法往往不考虑身体不同部位之间的关联关系,或是仅考虑单一尺度的关节点关系。

    新智元

扫码关注云+社区

领取腾讯云代金券