SFFAI分享 | 崔泽宇：套装搭配推荐在图神经网络上的应用【附PPT与视频资料】

作者简介

崔泽宇，中国科学院自动化研究所博士一年级在读，本科毕业于华北电力大学（保定）。研究方向为多模态数据挖掘与推荐系统。在WWW会议发过一篇论文。

背景

搭配问题是电商系统中的一个非常重要的任务，它需要综合利用图像文本，协同信息等等商品及用户关系，对商品进行深入的理解整合，并且建立一个优秀的美感评估机制，才能够获得一个优秀的搭配系统。当下的互联网电商平台中，阿里京东等公司，都设计了专门独立的搭配平台，比如时尚大脑，滴搭系统。这些搭配平台在给予用户以更高质量的商品推荐的同时，也在辅助商家，帮助商铺提供更好的营销手段有很高的商业价值。

问题定义

搭配任务主要的定义为一个打分问题。就是输入一套商品输出一个打分，通过这个打分的高低来评价这一套商品搭配的优劣情况；目前很多工作为了简化任务，把这个任务转化成了两两配对的问题，即输入两个商品，评价两者之间的搭配程度，如下图所示：

过去工作总结

近年来，服装搭配任务在深度学习的框架下，获得了更好的学习和表达能力。如下图为主流的工作脉络。在深度学习的基础框架下上的从度量学习的角度提出了基本的框架，把商品特征映射到风格空间进行距离度量，再后来加入多专家模型提高搭配风格空间多样性，auto-encoder， 知识蒸馏，Gans等模型的思路。其中有2篇是直接对套装做处理，其他都是针对两两搭配的模式。但是这些方法都是全监督的模型。

我们的模型

针对套装搭配任务，我们首次提出采用图结构建模套装内各个商品之间互相影响的关系，并通过图神经网络进行套装搭配度的评价。

如下图所示，目前搭配相关的问题，要么是仅仅考虑套装中两两之间搭配度的（a），要么是把套装看作一个序列问题(b)。这两者很明显都不是解决搭配的好的结构。同一个套装之中不同的商品之间应到相互之间都有影响，因此，如(c)所示，图结构才是搭配应该有的状态。

节点级别参数量的图神经网络（node-wised GNNs）

下图为整体的模型框架图：

我们把某个套装特征作为输入训练的时候，从完整的类别关系图中，取出当下套装的子图，在子图上用GNNs，GNN的输入是各个商品的图像特征，最后输出的隐藏层中采用attention融合，最后获得rating。

在搭配问题中，我们可以直观的发现，不同类别之间交互关系显然是不同，比如说，一件衣服对裤子的影响，和帽子对裤子的影响显然是不同的，所以，GNN每一条边上转移矩阵应当也不一样，但是边的数目太大了，通常一个正常的库中，类别数通常有100来中，那么边的数据接近1W个，这样的参数量是我们这个问题无法接受的。所以，我们把每条边上的转移矩阵变换成，这条边对应链接的两个节点的in，out矩阵相乘的结果。这样我们只需要2*节点数目个数个的矩阵就可以了表达交互的不同的特性了。

以下为本工作的实验结果展示：

本工作收录于WWW2019

论文地址：https://arxiv.org/abs/1902.08009

代码地址：https://github.com/CRIPAC-DIG/NGNN