推荐系统中的transformers

好事发生

这篇文章详细介绍了如何在 Linux Ubuntu 系统中使用 Docker 部署 Paint Board，并结合 cpolar 内网穿透工具实现远程访问。以下是推荐理由：

• 实用性强：文章提供了从环境准备、代码下载、镜像构建到容器运行的完整步骤，适合希望在本地搭建 Paint Board 的用户。
• 工具结合：通过引入 cpolar 内网穿透工具，解决了本地服务无法被外网访问的问题，拓展了 Paint Board 的使用场景。
• 图文并茂：文章配有详细的截图和命令行示例，便于读者理解和操作。
• 适用广泛：无论是个人用户还是团队协作，都可以通过该方法实现远程访问本地部署的 Paint Board，提升工作效率。

总而言之，这篇文章为希望在 Linux 环境下部署并远程访问 Paint Board 的用户提供了清晰、实用的指导，值得推荐。

1.1 《Behavior Sequence Transformer for E-commerce Recommendation in Alibaba》

1.1.1 论文贡献

以前的工作采用的是embedding和MLP（普通的全量连接层），原始的特征会直接映射成低纬度vectors，然后利用MLP作为最后的预测层。但是以前的这种方法没有考虑到用户的行为序列，仅仅是把原有的特征进行拼接。

本论文的贡献是：

• 利用Transformer模型来捕捉底层用户行为的信号
• 实验结果证明新提出的模型在CTR预估上有重大的提升

1.1.2 引入

在推荐系统中（RSs），会分为两个部分：match（匹配）和rank（排序）。在匹配中，根据商品和用户的交互来选择相似的物品，然后利用精细化的预估模型来预测用户对该商品的点击概率。

本论文主要集中在排序阶段，预测用户点击候选商品的概率。利用Transformer模型，同时引入用户的一系列行为，来提升CTR预估的效果。论文中提出的模型称为behavior sequence transformer（BST）。

1.1.3 模型

在排序阶段，构建了一个推荐任务：CTR任务。任务的描述如下，用户u的行为序列S(u)=\{v_1,v_2,...,v_n\}，学习的函数为F，来预测用户u对目标商品v_t的点击概率。

以前点击items和相关的特征被直接嵌入到底层的向量当中。本论文最大的不同在于，BST主要利用了transformer层来学习内在的用户点击信号。

（1）Embedding Layer

首先把所有的输入特征嵌入到低纬度的向量中。

• Other Features不经过Transformer，直接构成一个向量化矩阵W_0。下面是Other Features的表格：

• Sequence Item和Positional Features则需要经过Transformer层。其中Sequence Item主要是由商品ID和类别ID进行输入。
• Positional embedding（位置向量），用下面公式构建： pos(v_i)=t(v_t)-t(v_i) 其中v_t代表该商品的推荐时间，v_i代表用户点击时间

1.1.4 实验结果

从实验结果上看，BST在离线和在线任务中都取得了最好的结果