RS Meet DL(78)-CFM:结合3D卷积的FM模型

本文介绍的是IJCAI-19的一篇论文，题目为《CFM: Convolutional Factorization Machines for Context-Aware Recommendation》，将卷积神经网络和因子分解机FM相结合，提出了CFM模型，一起来学习下！ 论文下载地址：https://www.ijcai.org/Proceedings/2019/0545.pdf

1、背景

在推荐系统中，提升模型效果的一个很关键的方面是建模特征之间交互关系。那么目前存在的方法主要包括两种：

1）人工进行特征交叉，如逻辑回归模型，这需要很强的专业知识和业务理解。

2）由模型自动进行特征交叉，如因子分解机FM。但是FM模型在进行特征交叉时，对特征对应的嵌入向量使用的是求内积的方法，这隐含了一个前提，嵌入向量不同维度之间是相互独立的（因为内积是对位相乘），而没有考虑嵌入向量不同维度之间的关系。如特征f1对应的嵌入向量是[x1,x2,x3]，特征f2对应的嵌入向量是[y1,y2,y3]，那么FM在做内积的时候，只有x1y1，x2y2，x3y3，而x1y2、x1y3等没有考虑。

为了解决上述的问题，本文将FM和卷积神经网络相结合，提出了Convolutional Factorization Machine (CFM) ，一起来学习一下。

2、CFM模型

2.1 整体概述

CFM模型的整体计算公式如下：

其中我们重点关注g(x)部分，该部分的模型结构如下图所示：

可以看到，该部分主要有输入层、嵌入层、自注意力机制池化层、交互层、卷积层和全连接层。我们分别来介绍一下。

2.2 输入和嵌入层

输入层输入一堆离散特征，包括一些one-hot特征，如用户ID、性别等，还有multi-hot特征，如用户的历史交互过的item的ID等。每个特征首先通过嵌入层转换成一个d维的embedding vector。

2.3 自注意力机制池化层

首先说明一下，这里的自注意力机制并非Transformer里的自注意力机制，通过下面的介绍就可以体会到。同时，这里的池化层仅针对multi-hot特征。

对于multi-hot特征，一个field可能对应多个不同的嵌入向量，为了计算的方便，通常的做法就是对一个field里的嵌入向量进行池化，如avg-pooling和max-pooling。但是这种做法并不是最优的，本文提出了一种自注意力机制池化方法。首先，对于field里的每个嵌入向量vi，首先通过全连接层得到一个attention score：

然后所有的attention score通过softmax 转换为加和为1的权重：

然后对所有的嵌入向量进行一个加权：

经过这样的计算，每一个field对应一个向量ej。

2.4 交互层

在背景部分也提到了，FM中使用对嵌入向量求内积的方式来计算特征的交互，这种方式隐含了嵌入向量不同维度之间独立的假设。而本文使用外积（outer product）的方法来建模特征的交互，如field i和field j对应的向量分别为ei和ej，外积的计算如下：

每两个field对应的向量通过外积运算都会得到一个d*d的二维矩阵Mi,j，那么所有的Mi,j可以堆叠成一个三维的矩阵：

假设共有10个域，向量的维度为64，那么C的形状为64 * 64 * 45

2.5 3D卷积层

接下来，通过3D卷积进一步建模特征之间的高阶交互关系，3D卷积的示意图如下：

3D卷积层的输出是向量g，再通过一层全连接得到最终的输出g(x)：

2.6 模型训练

接下来讲一下几个模型训练的细节，首先是损失函数这里采用的是BPR损失：

同时，论文中还提到： 1）嵌入向量是通过FM结合BPR损失预训练得到的。 2）在训练CFM模型中，对嵌入层、卷积层和全连接层的参数增加L2正则 3）除最后的全连接层外，对其他层加入drop-out

本系列已经介绍了很多FM及其变形，如FFM、DeepFM、xDeepFM、FwFM、NFM、AFM等，本文进一步介绍了和卷积神经网络相结合的CFM模型。可以一起对比学习呦！