Attribute-Enhanced F R with Neural Tensor Fusion Networks 阅读笔记

因为标题长度有限，所以把Face Recognition简写成F R，论文题目应为《Attribute-Enhanced Face Recognition with Neural Tensor Fusion Networks》

1 需要解决的问题（Problem）

从稳定的到大的变化的状态（例如：姿势、光照、表情变化），使用深度学习方法所得到的特征仍存在缺陷。

2 所使用的方法（Method）

作者提出了一种基于张量的融合结构，能够有效的融合面部识别特征（FRF）与面部属性特征（FAF）。为了解决普通模型参数多、训练慢以及过拟合的问题，作者表示，基于张量融合的低阶Tucker分解与门控双流神经网络之间具有等价关系，通过标准深度神经网络工具箱张量是容易被优化的。

2.1 提出模型

2.2 优化

由于w是W的B倍大，所以直接优化公式（3）容易导致训练慢以及过度拟合，为了解决这个问题，作者提出了张量分解方法和神经网络结构。

2.2.1 特征融合Tucker分解

2.2.2 门控双流神经网络（GTNN）

作者指出，门控神经网络可以实现低阶张量的融合，即公式（7）的计算，如下图：

3 方法的优势和独特之处（Advantage）

1）使得参数减少，进行了强大的非线性融合。

2）可以通过高效的随机梯度下降算法来扩展大数据，在运行时，只需要一个简单的前馈传递，优于内核方法。

3）可通过任何所需的神经网络的损失函数灵活的监督。

4）可以扩展到更深层次的体系结构，可以被集成到一个端到端的框架中。

4 实验用的评价指标（Evaluation）

4.1 Multi-PIE数据集中用到的评价指标（不同的姿势、光照和表情变化）

姿势：使用覆盖范围从-90°到+90°不同姿势的图像，对不同方法对进行评价（如表2）。

照明：使用20种不同照明条件的图像，对不同方法进行评价（如表3）。

表情：使用具有7种不同表情变化的图像，对不同方法进行评价（如表3）。

4.2 CASIA NIR-VIS 2.0数据集中用到的评价指标（跨模态或异质性的人脸识别）

与当前先进的方法进行比较（如表4）。

与其他融合方法进行比较（如表5）。

4.3 LFW数据集中用到的评价指标（在无控制环境下）

与当前先进的方法进行比较（如表6）。

与其他融合方法进行比较（如表7）。