CVRP 2017|DLP-CNN & center loss & Island loss

面部表情识别很大程度上依赖于定义好的数据集，然而这样的数据集往往存在着很多的限制。现有的面部表情数据集往往在严格控制的实验条件下，受试者和测试环境均不具有多样性。受试者被要求按照统一的方式表达感情。

以及大多数情感识别数据集只包含6种基本表情，甚至更少。

所以作者提出了创建一个新的自发性的表情数据集，同时增加了所包含的表情类别，除了基本的六种表情外，还增加了由六个基本表情衍生出的十二种复合表情。

对将近3万张表情图片座标注是件十分困难和耗时的，作者找了315个标注者（来自学校的学生和在职员工），同时作者创建了一个网站，专门供标注者进行图片标注，图片被随机地展示给标注者，同时确保相邻地被展示给同一标注者的图片间没有直接的关系，同时还要确保每张图片至少要经由40个标注者标注，最后每张图片会对应一个七个维度的向量，每一维度代表相关情感标签的可能性。

由于标注过程的主观性判断，可能会导致不同标注者对于同一张图片的标注存在着较大的差异，为了避免噪声标注，作者选用了EM算法对于标注者的可靠性进行进一步的评估。

作者认为传统的特征提取方法可能对于具有严格实验控制的表情具有良好的分类效果，但是这种提取方法不再适用于自发性的情感数据集，故而作者根据RAF-DB数据集的特性提出了替换掉传统DCNN网络中的softmax损失函数，用一种全新的损失函数计算损失，提高对于特征的区分力。

作者的基本思想是尽可能地减小类内差异，使得样本与样本间变得紧凑，所以通过计算x与他同类的最近的k个样本的均值间的距离，然后在和softmax函数作加和。

EM算法：

其实也就是个交替迭代的思想，先从已知的A的信息得到B，再由B推断A。（假设我们估计知道A和B两个参数，在开始状态下二者都是未知的，并且知道了A的信息就可以得到B的信息，反过来知道了B也就得到了A。可以考虑首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值，这个过程一直持续到收敛为止。）

center loss：

y_i 是第 i 个样本所在类的标签，x_i 是第 i 个样本对应的特征向量（全连接层之后，决策层之前提取到的特征），c_{y_i} 是第 i 个样本所在类的所有样本的中心点处，通过最小化the center loss，可以把相同类的样本都推向类的中心，减小类内差。

LP loss：

x是同一label下，距离样本x_i 最近的k个样本（但是感觉这样会引起小团体的问题），按作者的说法是，LP loss相较于ceter loss更适用于多模态的分布情况，而不是说把所有样本往单一的中心点去靠拢。

Island loss：

考虑到不同类之间可能会有重叠，作者提出了Island loss，缩小类内距的同时，增大类间距。

第一项惩罚样本与中心的距离，第二项惩罚类与类之间的相似性，Island loss将相同的表情推向一起，将不同的表情相互推开。