Attribute-Enhanced F R with Neural Tensor Fusion Networks 阅读笔记

因为标题长度有限,所以把Face Recognition简写成F R,论文题目应为《Attribute-Enhanced Face Recognition with Neural Tensor Fusion Networks》

1 需要解决的问题(Problem)

从稳定的到大的变化的状态(例如:姿势、光照、表情变化),使用深度学习方法所得到的特征仍存在缺陷。

2 所使用的方法(Method)

作者提出了一种基于张量的融合结构,能够有效的融合面部识别特征(FRF)与面部属性特征(FAF)。为了解决普通模型参数多、训练慢以及过拟合的问题,作者表示,基于张量融合的低阶Tucker分解与门控双流神经网络之间具有等价关系,通过标准深度神经网络工具箱张量是容易被优化的。

2.1 提出模型

2.2 优化

由于w是W的B倍大,所以直接优化公式(3)容易导致训练慢以及过度拟合,为了解决这个问题,作者提出了张量分解方法和神经网络结构。

2.2.1 特征融合Tucker分解

2.2.2 门控双流神经网络(GTNN)

作者指出,门控神经网络可以实现低阶张量的融合,即公式(7)的计算,如下图:

3 方法的优势和独特之处(Advantage)

1)使得参数减少,进行了强大的非线性融合。

2)可以通过高效的随机梯度下降算法来扩展大数据,在运行时,只需要一个简单的前馈传递,优于内核方法。

3)可通过任何所需的神经网络的损失函数灵活的监督。

4)可以扩展到更深层次的体系结构,可以被集成到一个端到端的框架中。

4 实验用的评价指标(Evaluation)

4.1 Multi-PIE数据集中用到的评价指标(不同的姿势、光照和表情变化)

姿势:使用覆盖范围从-90°到+90°不同姿势的图像,对不同方法对进行评价(如表2)。

照明:使用20种不同照明条件的图像,对不同方法进行评价(如表3)。

表情:使用具有7种不同表情变化的图像,对不同方法进行评价(如表3)。

4.2 CASIA NIR-VIS 2.0数据集中用到的评价指标(跨模态或异质性的人脸识别)

与当前先进的方法进行比较(如表4)。

与其他融合方法进行比较(如表5)。

4.3 LFW数据集中用到的评价指标(在无控制环境下)

与当前先进的方法进行比较(如表6)。

与其他融合方法进行比较(如表7)。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20171216G0NOVY00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券