阿里iDST ICCV 2017录用论文详解:基于层次化多模态LSTM的视觉语义联合嵌入

ICCV,被誉为计算机视觉领域三大顶级会议之一的、作为计算机视觉领域最高级别的会议之一,其论文集代表了计算机视觉领域最新的发展方向和水平。阿里巴巴在今年的 ICCV 2017上有多篇论文入选。

本文是阿里iDST与西安电子科大、西安交大等合作的 ICCV 2017 论文解读《基于层次化多模态LSTM的视觉语义联合嵌入》(Hierarchical Multimodal LSTM for Dense Visual-Semantic Embedding),AI研习社做了不改动原意的编辑。

论文下载链接:http://openaccess.thecvf.com/ICCV2.py

精准描述商品:计算机视觉和自然语言处理的联合

近年来, 随着深度学习技术的快速发展, 人们开始尝试将计算机视觉 (Vision) 和自然语言处理 (Language) 两个相对独立的领域联合起来进行研究, 实现一些在过去看来非常困难的任务,例如「视觉-语义联合嵌入 (Visual-Semantic Embedding)」。该任务需要将图像及语句表示成一个固定长度的向量,进而嵌入到同一个矢量空间中。这样,通过该空间中的近邻搜索可以实现图像和语句的匹配、检索等。

视觉语义联合嵌入的一个典型应用就是图像标题生成(Image Captioning):对于任意输入的一张图像, 在空间中找到最匹配的一句话, 实现图像内容的描述。在电商场景下, 淘宝卖家在发布一件商品时, 该算法可以根据卖家上传得图片, 自动生成一段描述性文字, 供卖家编辑发布使用。再比如,视觉语义联合嵌入还可以应用于「跨模态检索 (Cross-media Retrieval)」:当用户在电商搜索引擎中输入一段描述性文字(如「夏季宽松波希米亚大摆沙滩裙」、「文艺小清新娃娃领飞飞袖碎花 A 字裙」等), 通过文字-图像联合分析, 从商品图像数据库中找到最相关的商品图像返回给用户。

之前的不足:只能嵌入较短的语句简单描述图片

以往的视觉语义联合嵌入方法往往只能对比较短的句子进行嵌入,进而只能对图像做简单而粗略的描述,然而在实际应用中,人们更希望得到对图像(或图像显著区域)更为细致精确的描述。如图 1 所示,我们不仅想知道谁在干什么,还想知道人物的外表,周围的物体,背景,时间地点等。

图 1 现有方法的问题

现有方法:「A girl is playing a guitar.」

我们提出的方法:「a young girl sitting on a bench is playing a guitar with a black and white dog nearby.」

为了实现这个目标,我们提出一个框架:第一步从图像中找出一些显著性区域,并用具有描述性的短语描述每个区域;第二步将这些短语组合成一个非常长的具有描述性的句子,如图 2 所示。

图 2 我们提出的框架

为此,我们在训练视觉语义联合嵌入模型时不仅需要将整个句子嵌入空间,更应该将句子中的各种描述性短语也嵌入空间。然而,以往的视觉语义联合嵌入方法通常采用循环神经网络模型(如 LSTM(Long short-term memory) 模型)来表示语句。标准的 LSTM 模型有一个链式结构(Chain structure):每一个单元对应一个单词,这些单词按出现顺序排成一列,信息从第一个单词沿该链从前传到最后,最后一个节点包含了所有的信息,往往用于表示整个句子。显然,标准的 LSTM 模型只适合表示整个句子,无法表示一句话中包含的短语,如图所示。

图 3 链式结构的问题

论文创新方法:提出层次化的 LSTM 模型

本文提出一种多模态、层次化的 LSTM 模型(Hierarchical Multimodal LSTM)。该方法可以将整个句子、句子中的短语、整幅图像、及图像中的显著区域同时嵌入语义空间中,并且自动学习出「句子-图像」及「短语-图像区域」间的对应关系。这样一来,我们生成了一个更为稠密的语义空间,该空间包含了大量的描述性的短语,进而可以对图像或图像区域进行更详细和生动的描述,如图所示。

图 4 本文提出的多模态层次结构

本文方法的创新性在于提出了一个层次化的 LSTM 模型,根节点对应整句话或整幅图像,叶子节点对应单词,中间节点对应短语或图象中的区域。该模型可以对图像、语句、图像区域、短语进行联合嵌入(Joint embedding),并且通过树型结构可以充分挖掘和利用短语间的关系(父子短语关系)。其具体网络结构如下图所示:

图 5 网络结构

其中为每一个短语和对应的图像区域都引入一个损失函数,用于最小化二者的距离,通过基于结构的反向传播算法进行网络参数学习。

在图像-语句数据集上的比较

图 6 在 Flickr30K 数据集上的对比

图 7 在 MS-COCO 数据集上的对比

可见本文方法在几个公开数据集上都获得了很好的效果。

在图像区域-短语数据集上的对比

我们提供了一个带有标注的图像区域-短语数据集 MS-COCO-region,其中人工标定了一些显著性物体,并在这些物体和短语之间建立了联系。

图 8 在 MS-COCO-region 数据集上的对比

下图是我们方法的可视化结果,可见我们的短语具有很强的描述性。

此外,我们可以学习出图像区域和短语的对应关系,如下:

原文发布于微信公众号 - AI研习社(okweiwu)

原文发表时间:2017-10-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小小挖掘机

推荐系统遇上深度学习(十六)--详解推荐系统中的常用评测指标

最近阅读论文的过程中,发现推荐系统中的评价指标真的是五花八门,今天我们就来系统的总结一下,这些指标有的适用于二分类问题,有的适用于对推荐列表topk的评价。

17620
来自专栏机器之心

学界 | 弱监督视频物体识别新方法:香港科技大学联合CMU提出TD-Graph LSTM

选自arXiv 机器之心编译 参与:李泽南、路雪 在图像识别任务中,模型的训练一直非常依赖于标注数据,同时训练结果难以泛化。香港科技大学与卡耐基梅隆大学的研究...

38080
来自专栏IT大咖说

艺术领域中的Tensorflow应用

摘要 本次演讲内容主要分为三个方面,首先会简单介绍一下Tensorflow,然后简单讲解可以用Tensorflow实现的深度神经网络算法,之后再介绍这些...

39360
来自专栏机器之心

学界 | 从剪枝法到低秩分解,手机端语言模型的神经网络压缩

选自arXiv 机器之心编译 参与:李亚洲 日前,机器之心介绍了一种压缩手机端计算机视觉模型的方法。在这篇文章中,我们介绍了一篇论文,介绍和对比了手机端语言模型...

36290
来自专栏华章科技

机器学习入门科普:监督学习和无监督学习都是什么?都能干什么?

学习能力是动物特别是人特有的,根据达尔文的理论,它也是所有物种生存和进化的关键要素。机器虽然不能自主进化,但似乎也遵循同样的规律。

5720
来自专栏AI科技评论

ICML论文|这违反直觉的“升噪”方法,反而能很好的解决激活函数梯度弥散的问题

GAIR 今年夏天,雷锋网将在深圳举办一场盛况空前的“全球人工智能与机器人创新大会”(简称GAIR)。大会现场,谷歌,DeepMind,Uber,微软等巨头的人...

35780
来自专栏机器之心

从遗传算法到OpenAI新方向:进化策略工作机制全解

48950
来自专栏AI科技评论

发现 | 基于深度学习的自动上色程序,以及其实际应用

来自伯克利大学和麻省理工学院的三名研究者Richard Zhang、Phillip Isola、Alexei A. Efros日前给出了深度学习在另一个特定领域...

46580
来自专栏专知

【经典重读】机器学习的那些事

【导读】现在以深度学习、强化学习、GAN等为代表的算法模型技术发展方兴未艾。在追随这些前沿技术同时,我们也需要对机器学习的基本概念的进行理解,如“学习=表示+评...

36450
来自专栏玉树芝兰

如何用机器学习处理二元分类任务?

图像是猫还是狗?情感是正还是负?贷还是不贷?这些问题,该如何使用合适的机器学习模型来解决呢?

11620

扫码关注云+社区

领取腾讯云代金券