双DNN排序模型：在线知识蒸馏在爱奇艺推荐的实践

近年来随着人工智能的发展，深度学习开始在工业界不同场景落地。深度学习跟以前的机器学习模型相比，其中很重要的特点就是在于能在模型侧自动构建特征，实现端到端学习，效果也有明显提升，但新的问题如模型效果和推理效率的冲突也开始凸显。

爱奇艺提出了新的在线知识蒸馏方法来平衡模型效果和推理效率，在推荐场景上获得了明显的效果，本文主要介绍爱奇艺在探索升级排序模型的过程中提出的双DNN排序模型。文章开始之前，首先为大家科普与本文主题相关的关键词的含义及相关技术知识。

▌关键词

▌写在前面

近些年来，学术界和工业界陆续开展了多项让排序模型变的wider and deeper的相关工作，其中，wider（更宽）意味着一个模型包含更多不同的子模型，如xDeepFM[1]包括了LR, DNN和CIN三种组件，分别建模一阶显示特征交叉（LR），高阶隐式特征交叉（DNN）和高阶显示特征交叉（CIN）；deeper（更深）意味着通过增加模型复杂性来提升模型性能，一些在NLP和CV领域使用的复杂组件开始被引入排序模型，如xDeepFM的CIN其实是利用卷积神经网络来建模特征交叉, BST[2]利用Transformer建模用户行为序列的表征。然而，更深更宽的模型在提升模型效果的同时，往往伴随着模型推理效率的下降。

爱奇艺提出的在线知识蒸馏方法来平衡模型效果和推理效率，并在短视频信息流和图文信息流两个重要场景上线后都