多属性人脸识别通过图形注意网络探索多面部属性识别的相关性

多属性人脸识别通过图形注意网络探索多面部属性识别的相关性

机器学习实战+机器学习 周志华 全2册 python机器学习 基础核心教程指南 人工智能周志华机器学习与R语言 python人工智能机器学习

介绍：面部图像提供丰富的高级属性，这对于描述语义很有用。识别面部属性在视频监视（Vaquero等人，2009），人机交互（Cowie等人，2001）或图像检索（Parikh和Grauman，2011）中有许多现实世界的应用。虽然不同的属性存在于面部区域的不同区域，并且可能具有不同的特征，但是最近的工作仍然倾向于构建统一的网络以同时识别它们（Liu et al。2015a; Rudd，Gu¨nther，and Boult 2016; Han et al 。2017; Hand and Chellappa 2017）。原因主要如下。首先，为每个单独的属性构建深度网络在时间和空间上都是昂贵的。其次，深度学习的最新结果表明，即使是完全不同的任务实际上也会共享相同的低级别表示，因此，较低层的结构和权重可以在不同的任务之间共享（Yosinski等人，2014）。第三，在多任务学习（MTL）中，通过最小化每个任务的组合损失函数来优化网络的参数。因此，它本身很容易推广（Meyerson和Miikkulainen 2018）。

为了模拟不同属性之间的相关性，我们使用图注意层（GAL），最初提出用于建模和推断知识图中的关系（Velickovic等2017），以创建高水平跨不同属性的特征表示。我们的目标是建立一个图表，其中每个节点代表一个属性的特征向量，两个节点之间的边缘链接表明它们是否是直接相关的，换句话说，它们彼此之间具有相关性。该图可以通过先验知识建立，例如，属性“波浪形头发”与“直发”强烈负相关，“年轻”在某种程度上与“吸引力”相关，因此应该存在相应的节点。但是从先前的知识来看，链接的强度很难甚至无法确定。我们的解决方案是以数据驱动的方式探索相关性，以便从数据中学习链接和强度。具体来说，我们使用基于注意力的体系结构，其中首先测量不同属性特征之间的相似性以生成注意权重，然后使用这些权重线性地组合和扩充用于分类的特征。请注意，GAL的输入功能来自单个分支，因此尽管它们具有共享的低级功能，但它并不能完全反映相关性。虽然GAL的输出考虑了属性的关系，但它们更具表现力。由于GAL之前的特征已经显示出它们的分类能力，我们还提出了一种优化方案，其中采用两个交叉熵损失函数Lf和Lc来分别约束网络的两个不同部分。这个想法是应用Lf的梯度仅用于更新特征学习网络中的权重和相关学习网络中权重的Lc梯度，如图1所示。也就是说，Lc仅负责找到高级属性相关性。作为总结，我们列出了论文的贡献如下：