神级特征交叉, 基于张量的多语义交叉网络TFNET！
TFNET: Multi-Semantic Feature Interaction for
CTR Prediction
到目前为止，我们已经看到过了非常多的特征交叉来提升CTR预估准确率的文章，从最早简单的线性模型LR开始，到后面探索二阶交叉的枚举式的Poly2，因为Poly2对于冷门的商品的效果处理不佳，所以这个时候大家更多会选用隐变量的FM模型，但是FM模型经常忽略了不同域的交叉不同的情况，所以又出现了FFM，后来大家觉得这些模型虽然二阶特征的捕捉不错，但是却较难捕捉特征之间更加深层次的关系，所以为了挖掘特征之间更加深层次的关系，加之近几年Deep模型的很强的表达能力，大家尝试用Deep模型来挖掘特征之间深层次的交叉关系，最早是MLP，到后来Deep and Wide，以及DeepFM，DCN, xDeepFM等。
本篇文章是一篇关于特征交叉的文章，文章利用了张量的方式构建交叉信息，文章很简单，实践价值也挺高的。
模型方案
模型框架
模型一共分为三个模块,第一个模块是直接embedding之后连接MLP层，用来挖掘模型更加深层次的交叉特征信息；第二个模块为中间的张量的交叉层，该层是我们的核心，留到后续介绍；第三个是直接原始特征拼接到后面，也就是embedding之前的特征。
基于张量的特征交叉层
基于张量的特征交叉
假设我们有两个变量经过embedding之后变为, 我们最简单的特征交叉是 ，DeepFM一般也是这么处理的。很多双塔的网络也类似，用户的第j个向量,商品的第k个向量，那么我们的交叉关系一般会用来表示,但是这么做是不是很好了呢？其实在实践中已经很不错了，但是还可以扩展，怎么说呢，我们把上面的表示先展开得到。
- 简单交叉：
这么看我们其实每个元素在做内积的时候都乘上了一个1，我们是不是可以把这个1换成更加通用的呢,答案当然是可以的。
- 加权交叉：
上面这个是第一种扩展,但是我们这么做又忽略了两个向量不同元素之间的交叉,例如和此类的交叉，于是我们就想着能不能再扩展一下，所以我们就得到:
- 混合加权交叉：
这么做看上去比之前的好了很多，表示能力也大大提升上去了，但是我们觉得还不够，我们觉得需要有多个T这样表示更好，这样可以得到多个不同语义空间的语义信息。于是我们便有了文章中说到的,
- 加入多层语义信息：
最终我们得到，为我们模型的特征个数,这基本就是本文的核心。
自适应门
在上面的操作中,我们默认所有的语义空间的权重都是一样的，但这在实践中是不成立的，所以我们需要一个重要性的权重来表示各个语义层的特征重要性。此处我们用 来表示每个语义层的特征重要性,
，
其中，
- ，
那么如何得到呢？此处我们通过下面的方式计算；
- ,
控制门
通过上面的操作，我们得到了非常多的特征，但并不是所有的特征都会有用，所以最后我们对特征进行筛选，此处我们使用来进行特征筛选, 一般是一个非负的稀疏的向量,最终我们得到。
模型输出
最终我们将上面的三个输出作为最后一层的输入,得到我们的预测结果：
其中就是我们模型的预测结果。
实验
指标：
结果
从上面的实验中,我们发现,TFNET最后加入全链接层是有效的,效果也都好于其他模型，所以整体来说，TFNET中间的张量交叉是非常有效的。
在线上的验证中也证实了TFNET的优势(相较于Deep&Wide)。
参数影响
这边有一个比较重要的参数，
从上面的实验中,我们发现,参数对于模型的影响有大概1K左右的影响,需要调整。
小结
本篇文章提出了一种基于张量的特征交叉方法TFNET，该方法相较于简单的计算内积(例如FM,双塔的内积等)的方式可以获得更强的表示以及更好的表达效果。
参考文献
- TFNet: Multi-Semantic Feature Interaction for CTR Prediction: https://arxiv.org/pdf/2006.15939.pdf
本文的提出的基于张量的交叉和FiBiNet文中的几种交互有些类似,那篇文章中的一些操作在我实践过程中是有效的，后面会介绍那篇论文。欢迎关注我们的公众号，也欢迎多交流，我是二品炼丹师: 一元。