专栏首页机器之心基于Keras的关联神经网络CorrNet综合指南

基于Keras的关联神经网络CorrNet综合指南

选自TowardsDataScience

作者:Md Ashiqur Rahman

机器之心编译

参与:胡曦月、一鸣

利用多模态数据提升机器学习表现是一个值得关注的问题。本教程介绍了一种可同时图像和音频数据表征的网络——CorrNet,并提供了相应的实现代码。

人与动物都有这五种共同的感官:视觉、听觉、味觉、嗅觉和触觉。除此之外我们还有其它诸如平衡感、加速感和时间感等等。人类大脑无时不刻的在处理所有来自这些感官源的信息,这些感官中的每一个都会影响我们的决策过程。

任何对话中,唇部运动、面部表情和声带发声同时有助于充分理解说话者所说的词汇的意义。我们甚至可以在无声状况下单凭观察唇部运动来理解词汇,此时这一视觉信息不仅仅是补充信息,而更加是一种必要信息了。

这一现象在「麦格克效应(McGurk effect)」的一个例子中首次提出:当一个视觉可见的音节/ga/在配音时发作了/ba/,多数人听到的音节是却是/da/。想要使机器学习模型达到人类这样的性能,就需要利用各种数据源来进行训练。

在机器学习中,这些来自不同异构源的数据类型称为多模态数据,如语音识别中的音频和视觉信息。由于多模态数据可能由不同维度和类型的数据构成,往往难以在训练中直接使用。因此许多研究致力于解决多模态数据的通用表示。

学习多视图数据的通用表示有助于若干下游应用,如对视频及其对应的音频的通用表示进行学习,相比于单纯使用音频而言可以生成更加精确的字幕。那么,怎样学习这种通用表示呢?

关联神经网络(CorrNet)

CorrNet 示意图。尝试学习两种数据视图的共同表示,并且从该编码表示重构两种视图。

相关神经网络(CorrNet)是学习通用表示的一种方法。它的架构与传统的单视图深度自动编码器几乎相同。但它为每种数据模态都构建了编解码对。

模型架构

考虑一个双视图输入,Z = [Ia, Iv],其中,Ia 和 Iv 分别是两种不同的数据视图,如音频和视频。下图所示是在该数据输入时 CorrNet 的一个简单架构。

在双模态数据 Z = [Ia, Iv] 的 CorrNet 示例中,Ia 和 Iv 是两个不同视图的数据(如音频和视频),其中编码器和解码器都是单层的。H 为编码表示,Ha= f( Wa.Ia+b) 为 Ia 的编码表示,f() 是任意非线性函数(如 sigmoid、tanh 等)。Hv = f( Wa.Ia+b) 同上。双模态数据Z的通用表示为:H = f( Wa.Ia + Wv.Iv + b)。

在解码部分,模型试图从通用表示*H*来重建输入,可以用以下两个公式表示:

I』a = g(W』a.H+b』),I』v = g(W』vH+b』)。

其中 g() 为任意激活函数,I』a **和 I』v 是经过重建得到的输入。

训练

在训练阶段,可以基于三种损失来计算梯度:

  • 最小化自重建误差,也就是将 Ia 到 Ia 和 Iv 到 Iv 重建的误差最小化。
  • 最小化交叉重建误差,也就是将 Iv 到 Ia 和 Ia 到 Iv 重建的误差最小化。
  • 最大化两个视图的隐藏表示之间的相关性,也就是最大化 Ha 和 Hv 之间的相关性。

最终得到的损失函数为:

此处,Lr() 表示重建损失,可以选择均方误差(MSE)或者平均绝对误差(MAE)。目标就是最小化该损失函数。并且我们想要提升相关性时,可以将它从损失中减去,也就是说,相关性越大,损失越小。

CorrNet 实现

实现可以分为三个部分:建模、设置损失函数和训练。

建模

在建模阶段需要创建自动编码架构。首先,导入所有需要的包。

from *keras *import  *Model*
from *keras.layers import  Input,Dense,concatenate,Add*
from *keras *import backend as *K,activationsfrom tensorflow* 
import *Tensor *as Tfrom* keras.engine.topology* 
import *Layer*
import numpy as *np*

然后创建 CorrNet 架构。简单起见,架构中只包含单层编码器和解码器。

class *ZeroPadding*(Layer):
     def *__init__*(self, **kwargs):
          super(ZeroPadding, self).__init__(**kwargs)     

     def *call*(self, x, mask=None):
          return K.zeros_like(x) 

     def *get_output_shape_for*(self, input_shape):
          return input_shape

#inputDimx,inputDimy are the dimentions two input modalities 

inpx = *Input*(*shape*=(inputDimx,))           
inpy = *Input*(*shape*=(inputDimx,)) 

*#Encoder*                
hl = *Dense*(hdim_deep,*activation*='relu')(inpx)                              
hr = *Dense*(hdim_deep,*activation*='relu')(inpy)                             
h =  Add()([hl,hr]) 

*#Common representation/Encoded representation

**#decoder
*recx = *Dense*(inputDimx,activation='relu')(h)                                         
recy = *Dense*(inputDimy,activation='relu')(h)
*CorrNet* = *Model*( [inpx,inpy],[recx,recy,h])

*CorrNet*.summary()
'''we have to create a separate model for training this *CorrNet*
As during training we have to take gradient from 3 different loss function and which can not be obtained from signle input.If you look closely to the loss function, 
we will see it has different input parameter'''

[recx0,recy0,h1] = *CorrNet*( [inpx, inpy])
[recx1,recy1,h1] = *CorrNet*( [inpx, ZeroPadding()(inpy)])
[recx2,recy2,h2] = *CorrNet*( [ZeroPadding()(inpx), inpy ]) 

H= *concatenate*([h1,h2])

*model* = Model( [inpx,inpy],[recx0,recx1,recx2,recy0,recy1,recy2,H])

现在来为模型写相关损失函数。

编译和训练

现在对模型进行编译和训练

model.*compile*(*loss*=[square_loss,square_loss,square_loss,  square_loss,square_loss,square_loss,correlationLoss],*optimizer*="adam")
model.*summary*()
'''
Suppose you have already prepared your data and kept one moadlity data in Ia(e.g. Audio) and another in Iv( e.g. Video).To be used by this model Audios and videos must be converted into 1D tensor.
'''
model.*fit*([Ia,Iv],[Ia,Ia,Ia,Iv,Iv,Iv,np.ones((Ia.shape[0],Ia.shape[1]))],nb_epoch=100)
'''
*np.ones((Ia.shape[0],Ia.shape[1]))* is fake tensor that will be   passed to *correlationLoss *function but will have no use
using this model we can generate Ia to Iv.For example, from video Iv we can generate corresponding audio Ia
np.zeros(Ia.shape) gives tensors of 0 of dimestions same as output tensor *audio*  
''' 

*audio*,_,_ = *CorrNet.*predict([np.zeros(Ia.shape),Iv])

经过训练,模型所学习到的通用表示可以用于不同的预测任务。比如通过 CorrNet 学习到的通用表示可以用于跨语言文档分类或音译等价检测。许多研究都表明使用通用表示可以提高性能。

此外,它还可以用于数据生成。比如,某个数据集中包含 10000 个音频片段及其对应的视频、5000 个丢失对应视频的音频片段以及 5000 个丢失对应音频的视频。此时,我们就可以用那 10000 个包含对应视频的音频片段来训练一个 CorrNet,并以此来生成数据集中丢失的音频和视频。

原文链接:https://towardsdatascience.com/a-comprehensive-guide-to-correlational-neural-network-with-keras-3f7886028e4a

本文为机器之心编译,转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心(全职记者 / 实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 & 商务合作:bd@jiqizhixin.com

本文分享自微信公众号 - 机器之心(almosthuman2014)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-08-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 点云深度学习系列二: PointCNN

    从前一层的数据中取K个候选点(p1,p2,...pK),使用MLP(多层感知器)来学习一个K×K 的变换矩阵(X-transformation,X...

    点云PCL博主
  • PointNet:三维点云分割与分类的深度学习

    本文是关于PointNet点云深度学习的翻译与理解,PointNet是一种直接处理点云的新型神经网络,它很好地体现了输入点云的序列不变性。

    点云PCL博主
  • 机器学习-线性回归预测房价模型demo

    从给定的房屋基本信息以及房屋销售信息等,建立一个回归模型预测房屋的销售价格。 数据下载请点击:下载,密码:mfqy。

    mantch
  • 【AI in 美团】深度学习在美团搜索广告排序的应用实践

    AI(人工智能)技术已经广泛应用于美团的众多业务,从美团App到大众点评App,从外卖到打车出行,从旅游到婚庆亲子,美团数百名最优秀的算法工程师正致力于将AI技...

    石晓文
  • 随机森林--你想到的,都在这了

    Bagging是bootstrap aggregating。思想就是从总体样本当中随机取一部分样本进行训练,通过多次这样的结果,进行投票获取平均值作为结果输出,...

    mantch
  • PointNet分享_1

    这类方法首先在三维形状上提取手工特征, 进而将这些特征作为深度神经网络的输入,用以学习高层特征表示。其优势在于可以充分利用现有的低层特征描述深度...

    点云PCL博主
  • 点云深度学习的3D场景理解(下)

    本文主要是关于 pointNet,pointNet++,frustum point 的一些整理和总结,内容包括如何将点云进行深度学习,如何设计新型的网络架构,如...

    点云PCL博主
  • 好记忆的机器学习面试--决策树

    其实用一下图片能更好的理解LR模型和决策树模型算法的根本区别,我们可以思考一下一个决策问题:是否去相亲,一个女孩的母亲要给这个女海介绍对象。

    mantch
  • 融合机器学习模型:一种提升预测能力的方法

    幸运的是,结合/融合/整合 (integration/ combination/ fusion)多个机器学习模型往往可以提高整体的预测能力。这是一种非常有效的提...

    统计学家
  • 《机器学习》(入门1-2章)

    这篇笔记适合机器学习初学者,我是加入了一个DC算法竞赛的一个小组,故开始入门机器学习,希望能够以此正式进入机器学习领域。 在网上我也找...

    mantch

扫码关注云+社区

领取腾讯云代金券