1、背景 本文关注的是用户关注列表的推荐问题，即在给定用户的历史交互行为的情况下，预测在用户关注列表中下一个时刻中最可能发生交互的物品。...该任务有两个重要的特点： 1）每次推荐只需要关注用户关注列表的偏好，而不是预测用户对所有物品的偏好，用户的关注列表的数据是非常稀疏的（大部分物品只出现过很少的次数），如果只使用物品ID对物品进行表示，容易导致模型的过拟合...2）用户对关注列表中物品的偏好的变化，可能会从用户最近的浏览记录中反映出来，如用户可能浏览过与关注列表中物品相同商家或品牌的其他物品，以此来探索其他可替代的物品。...2.1 Model Input 模型的输入主要包含两部分：用户历史行为序列和当前待推荐的物品。...2.4 Prediction Layer 最后的Prediction Layer用来预测用户对待推荐物品的点击概率，首先对待推荐物品经过Attention2D层转换得到的输出矩阵（维度为C*d）进行avg-pooling
长尾物品（Tail Items）在推荐系统中是非常常见的，长尾的存在导致了样本的不均衡，对于热门头部物品（Head Items）的样本量多，模型学习这部分的效果越好，而长尾物品的样本量少，导致模型对该部分...那么，针对长尾物品的推荐，有哪些较好的解决方法呢？本文从几个角度来聊一下这个问题。长尾问题，可以看成是推荐系统倾向于推荐热门商品，而忽略了非热门物品，即推荐系统如何解决纠偏问题？...如果不考虑固有的偏差，盲目地对数据进行拟合，会导致很多严重的问题，如线下评价与在线指标的不一致，损害用户对推荐服务的满意度和信任度等。下面我们聊一下与长尾问题相关的两个偏差。...长尾现象在推荐数据中很常见：在大多数情况下，一小部分受欢迎的商品占了大多数用户交互的比例。当对这些长尾数据进行训练时，该模型通常会给热门项目的评分高于其理想值，而只是简单地将不受欢迎的商品预测为负值。...为了解决用户兴趣和流行偏差的问题，作者考虑了两种嵌入方法：兴趣嵌入以捕获用户对商品的真实兴趣，以及流行度嵌入来捕获由流行度引起的伪兴趣。在多任务学习的框架下，可以利用特定原因的数据对这些嵌入进行训练。
，而且一般都是一些热门物品，对发现用户兴趣帮助也不大 基于物品的协同过滤就是根据用户历史行为来计算出物品之间的相似度，然后会用户推荐跟他消费过的物品类似的物品。...个性化推荐 个性化推荐需要考虑的是与用户偏好相关的，所以需要针对每个用户计算一个推荐结果，也就是预测用户对每个物品的结果。 ?...sim(i,j) 表示物品 i 和 物品 j（当前用户 u 已消费的物品之一） 的相似度，r(u,j) 表示当前用户 u 对 物品 j 的评分。...分母是对当前用户 u 已消费过的 m 个所有物品与物品 i 的相似度进行求和，分子是把这当前用户对已消费过的物品 j 的评分，按照相似度加权求和。...总结 基于物品的协同过滤，首先会计算不同物品之间的相似度，然后根据根据不同的应用场景选择不同的推荐结果，“相关推荐”会直接选用与当前物品相似度最高的 Top N，个性化推荐会根据用户已消费过的物品来计算对每个物品的预测评分
通常会把候选集的数据规模从数十万降低至数百或者数千个。 在实际的算法过程中，会考虑多种策略，做到面面俱到。 4.4 结果排序 对召回的结果进行进一步的筛选，并且进行精确的排序。...4.5 结果应用 根据不同的场景给用户展示最终的推荐结果，场景的不同往往会影响推荐的策略和算法。 总的来说，从上百万的候选集中召回一定的数据，然后进行排序，最终成为推荐结果。...协同特征：点击相似用户、兴趣分类相似用户、兴趣主题相似用户。 5.2 物品特征 静态特征：分类、标签、主题、价格。 动态特征：热度、分类热度、标签热度。...近邻推荐：协同过滤（又可以进一步分为基于用户、基于物品、基于模型的过滤） 七、结果评估指标 7.1 准确率 1、准确率：正确的预测样本数/总采样数。...覆盖率：长尾物品是否能被推荐。 多样性：推荐的物品是否两两不相似，尽可能覆盖多个兴趣点。 新颖性：是否能推一些新兴的产品。 惊喜性：推荐的东西和用户历史行为记录都不相似，但是用户非常喜欢。
》，之前介绍的阿里的论文大都是从用户行为序列出发，来建模用户的兴趣表示，而缺少对候选物品的更为丰富的建模，而本文则是从物品的角度出发，将物品行为引入到网络中，一起来看一下。...用户行为序列即用户交互过的物品（物品特征）按照时间先后的排序结果，物品行为序列则是与该物品有过交互的用户（用户特征）按照时间先后的排序结果。...用户和物品特征主要包括多个离散特征，对用户特征来说，包括用户ID、性别、年龄段等等，对物品特征来说，主要包括物品ID、店铺ID和品类ID等等。...Attention Layer 物品行为序列是一系列用户的集合，在Time-Interval Attention Layer，我们使用GRU单元来建模物品的演化过程，同时将时间因素考虑进来，利用时间信息对每一个行为进行加权...2.6 全连接层&损失计算 上述主要介绍的是对物品行为序列的处理过程，对于用户行为序列，使用GRU和Attention层进行建模，可以参考TIEN的整体结构图，本文不做详细介绍。
赛题背景 问题定义 在电商场景中，推荐系统作为电商核心功能之一，对用户体验的提升有重要作用。预测用户的兴趣，为其做出合理的推荐是工业界与学术界长久以来研究的课题。...对图结构的探索，比如预测用户与商品之间是否会存在一条潜在的“点击”边，等价于对用户兴趣的建模/完成推荐。准确的推荐会给电商系统带来更好的用户体验，减少用户面对海量的商品时的信息过载。...但是，构建这样的推荐系统常常面临一些挑战， 首先是如何处理各种用户行为。比如用户商品之前存在的“点击边”和“收藏边”，对用户个性的刻画有什么不同的影响？...对用户有过历史行为的物品，根据时间、行为类型计算，加权计算其协同过滤列表中的物品的相似度，并以相似度作为关键值排序后从大到小召回。...同类热门商品 经过对数据的探索发现，用户对物品有行为之后，之后的行为大概率发生在同类、同商店的物品中。
，但不管怎样，都绕不开推荐算法的几个基本条件： 根据和你共同喜好的人来给你推荐 根据你喜欢的物品找出和它相似的来给你推荐 根据你给出的关键字来给你推荐，这实际上就退化成搜索算法了 根据上面的几种条件组合起来给你推荐...现有的条件就是以上这么多，至于实际情况的不同会有不同的衍生，像基于用户的协同过滤算法和基于物品的协同过滤算法就是一些典型的实例。...3.基于用户的协同过滤算法vs基于物品的协同过滤算法 基于用户的协同过滤算法和基于物品的协同过滤算法两者区别在哪呢？...顾名思义，“基于用户”就是以用户为中心的算法，这种算法强调把和你有相似爱好的其他用户的物品推荐给你，而“基于物品”的算法则强调把和你喜欢物品的相似物品推荐给你。...总体来说，都是推荐物品给你，一个推荐的桥梁是用户，另一个是物品。 在运用的时候要根据实际情况的不同，选择是基于基于用户还是基于物品。
定义 UserCF:基于用户的协同过滤算法 ItemCF:基于物品的协同过滤算法 UserCF和ItemCF优缺点的对比 UserCF ItemCF 性能 适用于用户较少的场合，如果用户很多，计算用户相似度矩阵代价很大...适用于物品数明显小于用户数的场合，如果物品很多（网页），计算物品相似度矩阵代价很大 领域 时效性较强，用户个性化兴趣不太明显的领域 长尾物品丰富，用户个性化需求强烈的领域 实时性 用户有新行为，不一定造成推荐结果的立即变化...用户有新行为，一定会导致推荐结果的实时变化 冷启动 在新用户对很少的物品产生行为后，不能立即对他进行个性化推荐，因为用户相似度表是每隔一段时间离线计算的 新用户只要对一个物品产生行为，就可以给他推荐和该物品相关的其他物品...新物品上线后一段时间，一旦有用户对物品产生行为，就可以将新物品推荐给和对它产生行为的用户兴趣相似的其他用户 但没有办法在不离线更新物品相似度表的情况下将新物品推荐给用户 推荐理由 很难提供令用户信服的推荐解释...利用用户的历史行为给用户做推荐解释，可以令用户比较信服
召回阶段主要是从全量的商品库中得到用户可能感兴趣的一小部分候选集，排序阶段则是将召回阶段得到的候选集进行精准排序，推荐给用户。 本篇我们来总结一下推荐系统中几种常用的召回策略。...1.1 基于用户的协同过滤 基于用户的协同过滤算法的基本思想是：当召回用户A的候选集时，可以先找到和他有相似兴趣的其他用户，然后把那些用户喜欢的、而用户A没有未交互的物品作为候选集。...得到用户之间的兴趣相似度后，UserCF算法会给用户推荐和他兴趣最相似的K个用户喜欢的 物品。如下的公式度量了UserCF算法中用户u对物品i的感兴趣程度: ?...(2) 根据物品的相似度和用户的历史行为给用户生成召回候选集。...这样做的结果就是，用户经常抱怨：为什么总给我推荐相同的东西！ 2、向量化召回 向量化召回，主要通过模型来学习用户和物品的兴趣向量，并通过内积来计算用户和物品之间的相似性，从而得到最终的候选集。
此外，基于判别式的推荐系统只能在已知的候选物品集内进行判别，对用户的兴趣造成了极大的局限。以上弊端，在基于判别式的传统推荐框架下是难以逾越的。...总之，基于判别式的推荐模型基本目的是判断候选集中的物品是正样本还是负样本。...此理想物品是用户在交互后自然形成的，准确反映了用户兴趣，很难存在于候选物品集中。 （2）基于判别式的推荐模型只能用于区分观测到的正样本与采样得到的负样本，无法对理想物品进行准确建模。...DreamRec方法 给定用户历史交互的物品序列，通常每个物品都会转化为对应的向量表示： 在DreamRec中，将理想物品的生成分布建模为： 注意此分布并非给定交互序列后，预测对候选集种物品推荐的概率分布...值得注意的是，DreamRec作为生成式推荐模型，完全不依赖负采样，而其余序列推荐模型均为判别式，对负采样具有极强的依赖。 下面是用T-SNE对不同模型的物品向量表示进行降维可视化的结果。
1、背景 在淘宝的推荐系统中，整个推荐流程可以分为下面的三个阶段： 首先是候选集生成阶段(candidate generation)，接下来是粗排阶段(coarse-grained ranking)，最后是精排阶段...在粗排阶段，主要的任务是预估精排阶段返回的候选集中每个物品的点击率，然后选择最高的一些物品进入精排阶段。...粗排阶段输入的特征主要有用户的行为特征（用户的历史点击／购买行为，通常通过RNN或者self-attention进行处理）、用户自身特征（如用户id、性别、年龄）、物品自身特征（如物品id、类别、品牌）...过程如下图所示： 由于性能的限制，在粗排阶段没有考虑用户-物品的一些交互特征，如用户过去24小时在同类别下物品的点击行为、用户在过去24小时在物品所在店铺内的点击行为。...加入这些特征，如果放到用户侧，那么针对每个物品都需要计算一次用户侧的映射，如果放到物品侧，同样针对每个物品都需要计算一次物品侧的映射，这会大大加大计算复杂度。
.pdf 之前介绍的推荐模型，大都是Top-K推荐的，也就是说，我们首先会对每个物品的CTR等进行预估，然后进行排序，将排序结果的前K个推荐给用户。...1、背景 在许多推荐场景中，我们都需要一次性推荐一屏(论文中用到的词是card，这里我们暂且翻译为屏)的物品给用户，如下图： 文中将这种场景称之为exact-K recommendation问题，这种问题的首要目标是提升这一屏被点击或者满足目标用户需求的概率...2、模型介绍 2.1 问题定义 对于给定的包含N个物品的候选集合S={si}，我们的目标是从中选择K个物品集合A={ai}，并将这K个物品作为一屏推荐给用户。...Base的方法，过程如下： 过程表述如下： 1）对于给定的用户u和候选集合S，首先构造一张无向图； 2）计算图中每个节点的点击率CTR； 3）基于贪心的思路，从当前的候选集合中选择点击率最高的一个节点，...加入到推荐结果集A中，并把至少与A中一个物品不相连的物品从当前的候选集中去掉； 4）重复第3步直到得到包含K个物品的推荐结果集合A。
实验设计 实验对象 随机取 2017 年 1～4 月有加书架行为的 500 名用户。 推荐任务 对每个用户，根据 1～3 月的用户行为，预测 3～4 月被加入书架的 topN 本书，作为推荐结果。...Word2vec 是一个语言模型，能够从语料中学习到词汇的向量表示，向量可以用于衡量词汇间的相似度。Word2vec 也可用于个性化推荐，能够学习到物品、用户间的相似度，是一种协同过滤的推荐方法。...实验组：CTR 预估方法 CTR 预估方法，即利用点击率预测模型，对候选集的 user-item 特征，预测点击率，然后重新排序生成推荐结果。...利用 CTR 预估方法做推荐，一般步骤是： 生成候选集：利用协同过滤方法（Word2vec）产生的 topN * 3 个推荐结果作为候选集。...常见的模型有：LR / GBDT / GBDT+LR / FM 等，可参考 3 点击率预估，对候选集重排序：对每个用户，用 LR 模型预测他把候选集书籍加入书架的概率，然后排序取 topN 作为推荐结果
通过对FM做一些调整，将用户和物品都向量化，使得向量的内积就是推理结果，简单的按位乘背后是用户和物品的特征之间两两矩阵分解的结果。 这样的FM可以做排序，可以做向量召回，可以做多路召回的粗排。...向量召回呢，加上负采样，配合sampled softmax这样的loss，要把用户和物品进行向量化表示，对物品向量使用如faiss的库进行knn索引，然后高效检索。...但是乍看起来FM并没有将用户和物品向量化。 对FM做个变形 对FM的二阶项稍作调整，把二阶项分成user侧和item侧，仅仅做user和item侧的交叉。 ? 如上面公式描述的。...再对一阶项和bias做处理，用户侧的一阶项权重拼成一个向量，在物品侧补同样个数的1，相应的物品侧也做同样的事情。其中全局bias当成物品侧的一阶项来处理 ?...粗排存在的意义是进一步从召回的结果中用一个小模型再筛选一下，降低精排模型的压力，最终的重排是对整个推荐结果的整体汇总整理，从item的数量来看这四个步骤就是：全部物品——万级别召回候选集——千级别粗排候选集
，把意向对象的数量从粗犷到精细化的筛选过程（这过程就像是找工作的时候，HR根据简历985/211粗筛出一部分，再做技能匹配及面试精准筛选，最终敲定合适的人选）： 召回层：从物品库中根据多个维度筛选出潜在物品候选集...（多路召回），并将候选集传递给排序环节。...常用方法有：召回策略（如推荐热门文章、命中某类标签的文章等等）、双塔模型（学习用户及物品的embedding，内积表示预测意向概率）、FM及CF等模型做召回、知识图谱（知识图谱表示学习，知识推理用户对物品的兴趣程度...这里我们可以借助矩阵分解方法，找到用户和物品的表征向量（K个维度，超参数），通过对用户向量和物品向量的内积则是用户对物品的偏好度（预测评分）。 由于矩阵分解引入了隐因子的概念，模型解释性很弱。...DMF 模型的框架图如下所示：该模型的输入层为交互矩阵 Y，其行、列分别对应为对用户和对物品的打分，并采用 multi-hot 形式分别表征用户和物品。
候选集触发层主要是从用户的历史行为、实时行为、地理位置等角度利用各种触发策略产生推荐的候选集。...候选集融合和过滤层有两个功能，一是对出发层产生的不同候选集进行融合，提高推荐策略的覆盖度和精度；另外还要承担一定的过滤职责，从产品、运营的角度确定一些人工规则，过滤掉不符合条件的item。...群体/个体 计算代价 适用场景 冷启动 可解释性 实时性 user-based 更依赖于当前用户相近的用户群体的社会化行为 适用于用户数较少的场合 时效性强，用户个性化兴趣不太显著的场合 新加入的物品能很快进入推荐列表...弱 用户新的行为不一定导致推荐结果的变化 item-based 更侧重用户自身的个体行为 适用于物品数较少的场合 长尾物品丰富，用户个性化需求强烈的场合 新加入的用户能很快得到推荐 强 用户新的行为一定导致推荐结果的变化...对我们而言，以下两个节点是我们优化过程中的里程碑： 将候选集进行融合：提高了推荐的覆盖度、多样性和精度 引入重排序模型：解决了候选集增加以后deal之间排列顺序的问题 ?
排序算法的作用是：对多路召回的候选集进行精细化排序。它会利用物品、用户以及它们之间的交叉特征，然后通过复杂的机器学习或者深度学习模型进行打分排序，这一层的特点是计算复杂但是结果更精准。...协同过滤算法的核心就是「找相似」，它基于用户的历史行为（浏览、收藏、评论等），去发现用户对物品的喜好，并对喜好进行度量和打分，最终筛选出推荐集合。...基于第1步计算出来的共现矩阵以及每个物品的喜欢人数，便可以构造出物品的相似度矩阵： 第三步：推荐物品 最后一步，便可以基于相似度矩阵推荐物品了，公式如下： 其中，Puj 表示用户 u 对物品 j 的感兴趣程度...N(u) 表示用户 u 感兴趣的物品集合，S(j,N) 表示和物品 j 最相似的前 N 个物品，Wij 表示物品 i 和物品 j 的相似度，Rui 表示用户 u 对物品 i 的兴趣度。...最终对比用户 E 对物品 a 和物品 d 的感兴趣程度，因为 0.682 > 0.3，因此选择推荐物品 a。
---- 2.推荐系统简介 推荐系统的功能是帮助用户主动的找到满足偏好的个性化物品并推荐给用户。...数学化的表示： 物品列表=f(用户偏好)−−−−−−−−−−−公式（1） 物品列表= f\left( 用户偏好\right)----------- 公式（1） 我们的推荐引擎就扮演者这里的函数的角色...，它主要需要完成两部分的工作： A > 针对查询条件对物品的相关性进行估计。...因此为了实现性能与效果的平衡，大多的推荐系统将以上的计算过程分为两个部分： 推荐召回 推荐排序 推荐召回指在所有物品集合中检索到符合用户兴趣的候选集，大约筛选出几百个候选的列表。...排序的目的是要利用展示、点击（或转化）数据，然后加入更多的用户、物品特征，对推荐候选进行更精细的修正、打分。这种模式另一个好处是能够利用多种候选集。 ?
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
