利用Transformer模型提升产品检索效果

利用Transformer模型提升产品检索效果

当顾客点击产品搜索结果列表中的某个商品时，暗示该商品优于未点击项。传统"学习排序"模型通过比较点击/未点击结果的"成对比较"或"列表排序"方式利用这种隐式反馈。但这种方法存在缺乏绝对反馈的缺陷——例如当列表中无任何点击时，模型无法利用这一负面信号。

在KDD 2023会议上，我们提出了一种融合绝对反馈的新型学习排序方法RankFormer。该模型采用自然语言处理中流行的Transformer架构，能够：

1. 通过分类令牌捕捉列表整体质量
2. 利用注意力机制动态评估商品特征的上下文重要性
3. 对零点击列表仍能进行有效学习

技术架构

模型输入包含商品特征(XI)和分类令牌(xCLS)。Transformer编码器生成的特征表示(ZI和zCLS)分别传递至两个评分头：

• 商品评分头(hs)预测单个商品相关性
• 列表评分头(hd)评估整体列表质量

训练过程采用双损失函数优化：

• 商品级损失(Ly)基于点击/购买标签
• 列表级损失(Lt)依据列表最高价值项

实验结果

在公开数据集测试中，梯度提升决策树(GBDT)仍保持优势。但在包含丰富特征的亚马逊内部搜索数据上，我们的模型实现全面超越：

• 准确率提升12%超过基线神经网络
• 首次在工业级数据集上超越GBDT模型
• 特别擅长处理零点击或全点击的特殊场景

研究表明，当数据集具备以下特征时，神经排序器才能展现最佳性能：

1. 海量训练样本
2. 高维特征空间
3. 复杂特征分布

应用价值

该方法已应用于亚马逊商品搜索系统，通过更精准地解读用户点击行为，显著提升转化率。我们特别关注以下场景的优化：

• 无点击列表的负样本学习
• 全点击列表的质量判别
• 跨价格区间的上下文感知

未来将继续深化客户反馈信号的研究，包括：

• 多模态检索中的Transformer应用
• 长尾查询的冷启动优化
• 购买与浏览行为的差异建模