吕慧伟,腾讯云布道师,腾讯社交网络运营部高级工程师,腾讯通用推荐系统神盾开发负责人,腾讯云推荐引擎架构师。中国科学院计算技术研究所博士,美国阿贡国家实验室博士后,从事并行计算多年,MPICH 核心开发者之一。 *视频时长约27分钟,请在wifi环境下观看* 我们每个人每天都会使用到不同的推荐系统,无论是听歌,购物,看视频,还是阅读新闻,推荐系统都可以根据你的喜好给你推荐你可能感兴趣的内容。不知不觉之间,推荐系统已经融入到我们的生活当中。作为大数据时代最重要的几个信息系统之一,推荐系统主要有下面几个作用:
在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。
图计算是一种针对图数据进行分析和计算的方法。图数据由节点和边构成,节点代表实体或对象,边代表节点之间的关系或连接。图计算可以应用于多个领域,如社交网络分析、生物网络分析、推荐系统等。
作者:fisherman,时任推荐部门推荐系统负责人,负责推荐部门的架构设计及相关研发工作。Davidxiaozhi,时任推荐部门推荐系统架构师,负责推荐系统的架构设计和系统升级。 来自:《决战618:探秘京东技术取胜之道》 零,题记 在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年,当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样,部落与部落之前没有任何工程、算法的交集
在电商领域,推荐的价值在于挖掘用户潜在购买需求,缩短用户到商品的距离,提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年,当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样,部落与部落之前没有任何工程、算法的交集。2013年,国内大数据时代到来,一方面如果做的事情与大数据不沾边,都显得自己水平不够,另外一方面京东业务在这一年开始飞速发展,所以传统的方式已经跟不上业务的发展了,为此推荐团队专门设计了新的推荐系统。 随着业务的快速发展以及移动互联网的
推荐系统是一种信息过滤技术,通过从用户行为中挖掘用户兴趣偏好,为用户提供个性化的信息,减少用户的找寻时间,降低用户的决策成本,让用户更加被动地消费信息。
推荐系统是一种信息过滤技术,通过从用户行为中挖掘用户兴趣偏好,为用户提供个性化的信息,减少用户的找寻时间,降低用户的决策成本,让用户更加被动地消费信息。推荐系统是随着互联网技术的发展及应用深入而出现的,并在当前得到广泛的关注,它是一种软件解决方案,是toC互联网产品上的一个模块。用户通过与推荐模块交互,推荐系统通过提供的web服务,将与用户兴趣匹配的标的物筛选出来,组装成合适的数据结构,最终展示给用户。推荐系统web服务是前端和后端沟通的桥梁,是推荐结果传输的最后通道,信息传输是否通畅,传输是否足够快速,对用户体验是有极大影响的。本文我们就来讲解推荐系统提供web服务的两种主要方式,这两种方式是企业级推荐系统最常采用的两种形式。
【编者按】11月21日,为期三天的SDCC2015中国软件开发者大会成功闭幕,主办方总计邀请了95余位演讲嘉宾,为参会者奉献了10个主题演讲,9大技术专场论坛(80余场技术演讲),另外还有5场特色活动。另外,据官方统计参会人数高达1067名(不含工作人员)。其中21日的算法专场,现场听讲人数一度爆满,而没有机会亲临现场的童鞋们,我们特邀请了业内专家、与会者分享他们的听课感受及他们眼中的算法专场。以下是来自畅捷通公共服务部总监张俊林的参加算法专场的听课札记,以飨读者。 以下为张俊林的听课札记: 2015年11
社交网络中的好友推荐是使用图算法的一个经典应用场景。社交网络中的好友关系可以看作是一个图,其中用户是图的节点,好友关系是图的边。好友推荐的目标是根据用户已有的好友关系,推荐用户可能感兴趣的新好友。
TLDR: 针对传统多模态推荐方法在图卷积操作过程中存在的计算与内存占用高以及随机采样带来的计算消耗大与引入噪声等问题,本文提出了一种即不需要辅助图数据增强又不需要负采样的自监督多模态推荐算法BM3。本文模型及所有baselines都已开源集成到统一的多模态框架MMRec中,欢迎大家飨用。MMRec地址:https://github.com/enoche/MMRec
导语:本文会从协同过滤思想简介、协同过滤算法原理介绍、离线协同过滤算法的工程实现、近实时协同过滤算法的工程实现、协同过滤算法应用场景、协同过滤算法的优缺点、协同过滤算法落地需要关注的几个问题等7个方面来讲述。希望读者读完本文,可以很好地理解协同过滤的思路、算法原理、工程实现方案,并且具备基于本文的思路自己独立实现一个在真实业务场景中可用的协同过滤推荐系统的能力。
导读:2020年一开年,就有神秘大咖跟数据叔说:2020,两个事必火,一个是中台,一个是图神经网络。大咖还说,有数据为证,因为2019-2020年之间,图神经网络成为各大顶会的增长热词。
1.1.1 推荐系统概述 首先,需要申明一点的就是推荐系统!=推荐算法。推荐系统是一套完善的推荐机制,包括前期数据的准备、具体推荐的过程(这个过程可能是一套复杂的算法模型,也可能是一个简单的规则,也可能是多种模型的混合结果等等)、后期数据的预测、AB测试效果评估等等。
作者在《推荐系统的工程实现》(点击蓝字可回顾)这篇文章的第五部分“推荐系统范式”中讲到工业级推荐系统有非个性化范式、完全个性化范式、群组个性化范式、标的物关联标的物范式、笛卡尔积范式等 5种 常用的推荐范式。本文会按照这5大范式来讲解常用的推荐算法,但不会深入讲解算法的实现原理,只是概述算法的实现思路,后面的系列文章我会对常用的重点算法进行细致深入剖析。
“探索推荐引擎内部的秘密”系列将带领读者从浅入深的学习探索推荐引擎的机制,实现方法,其中还涉及一些基本的优化方法,例如聚类和分类的应用。同时在理论讲解的基础上,还会结合 Apache Mahout 介绍如何在大规模数据上实现各种推荐策略,进行策略优化,构建高效的推荐引擎的方法。本文作为这个系列的第一篇文章,将深入介绍推荐引擎的工作原理,和其中涉及的各种推荐机制,以及它们各自的优缺点和适用场景,帮助用户清楚的了解和快速构建适合自己的推荐引擎。 信息发现 如今已经进入了一个数据爆炸的时代,随着 Web 2
导语:作者在《基于内容的推荐算法》这篇文章中对基于内容的推荐算法做了比较详细的讲解,其中一类非常重要的内容推荐算法是基于标签的倒排索引算法,也是工业界用的比较多的算法,特别是新闻资讯类、短视频类产品大量采用该类算法。在本篇文章中作者会结合电视猫的业务场景及工程实践经验来详细讲解基于标签的倒排索引算法的原理及工程落地方案细节。
基于此,本文提出 Graph4Rec 将 GNN 用于推荐系统的训练范式统一为 graphs input、random walk generation、ego graphs generation、pairs generation 和 GNN selection 等几个部分,通过该训练 pipeline 可以很容易地建立自己的 GNN 模型同时相关配置被简化。此外还开发了支持分布式 GNN 训练的大规模图引擎和参数服务器。
关于推荐系统,如果在忘掉所有的公式和代码,忘记所有的语言描述,脑海里就剩下几张图景,会是什么?一张二维表格,一个拓扑图,一条时间线。这三幅图景,是我看待推荐算法的三种视角。
ACM Computing Surveys (CSUR) 中文全称为美国计算机学会计算概观,是计算机学科最具影响力的期刊之一。作为计算机科学、理论和方法的综述类顶刊,其 2020 影响因子 10.282,该期刊主要发表计算机科学领域较有代表性的综述论文。PKU-DAIR 实验室研究成果 Graph Neural Networks in Recommender Systems: A Survey 已被 ACM Computing Surveys 接收。
WENTAO ZHANG, XU XIE, BIN CUI† , Peking University, China
韩家炜教授作序,多位学界和产业界大牛一致推荐,三位领域专家多年研究成果总结,全球首本介绍异质图表示学习及其应用的图书,含具体实例及代码实现。
集体智慧 (Collective Intelligence) 并不是 Web2.0 时代特有的,只是在 Web2.0 时代,大家在 Web 应用中利用集体智慧构建更加有趣的应用或者得到更好的用户体验。集体智慧是指在大量的人群的行为和数据中收集答案,帮助你对整个人群得到统计意义上的结论,这些结论是我们在单个个体上无法得到的,它往往是某种趋势或者人群中共性的部分。
在大规模图计算中,分布式计算的原理是通过将一个大规模图划分为多个子图,并将这些子图分配到不同的计算节点进行并行计算,最后将计算结果进行合并。分布式计算可以利用多台计算机的计算能力来加速图计算的过程,同时提高系统的可扩展性和容错性。
最近在看相关资料,发现相关论文不是特别多,所以比较疑惑为什么。是因为这个方向比较新,做的人还比较少呢,还是说相比其他深度学习方法(比如CNN)并没有优势,所以本身没有研究价值呢?
摘要:本文主要介绍阿里的深度兴趣网络DIN模型。为了解决推荐领域中用户历史行为包含大量用户兴趣信息,但只有一小部分用户兴趣信息会最终影响用户点击行为的问题,阿里引入Attention机制提升相关商品的权重同时降低非相关商品的权重,最终实现对用户历史行为进行加权的目的。同时讲了DIN模型中其他具有借鉴价值的工程实践,包括自适应正则Regularization、自适应激活函数Dice和评价指标使用GAUC替代AUC。
前几年神经网络很火,相信大家对神经网络都有一定的了解。而图神经网络是直接在图上进行计算,整个计算的过程,沿着图的结构进行,这样处理的好处是能够很好的保留图的结构信息。而能够对结构信息进行学习,正是图神经网络的能力所在。 下面我们就来看看图神经网络为什么强大? 图神经网络的应用场景自然非常多样。笔者在这里选择一部分应用场景为大家做简要的介绍,更多的还是期待我们共同发现和探索。 1. 计算机视觉 在计算机视觉的应用有根据提供的语义生成图像,如下图所示(引用)。输入是一张语义图,GNN通过对“man behin
推荐系统的核心是预测一个user对一个item的感兴趣程度。协同过滤是推荐系统中最常用的一种方法,它的假设是,相似的用户(例如用户特征相似,或用户历史对item的点击等行为相似)有对于item相似的偏好,因此可以利用历史的user对item的行为拟合参数,再用这个参数预测未来一个user对一个item的感兴趣程度。
前几年神经网络很火,相信大家对神经网络都有一定的了解。而图神经网络是直接在图上进行计算,整个计算的过程,沿着图的结构进行,这样处理的好处是能够很好的保留图的结构信息。而能够对结构信息进行学习,正是图神经网络的能力所在。 下面我们就来看看图神经网络为什么强大? 图神经网络的应用场景自然非常多样。笔者在这里选择一部分应用场景为大家做简要的介绍,更多的还是期待我们共同发现和探索。 1. 计算机视觉 在计算机视觉的应用有根据提供的语义生成图像,如下图所示(引用)。输入是一张语义图,GNN通过对“man behi
本课题着眼于谱聚类在社会化推荐挖掘中的应用研究。谱聚类算法是基于图论的数据聚类算法,与其他聚类方法相比具有明显的优势:建立在谱图理论的基础之上;操作简单,易于实现;具有识别非高斯分布的能力,非常适用于许多实际应用问题。所以,谱聚类算法成为近几年来机器学习领域的一个新的研究热点,处理方法以及机器学习本身算法理论的学习和代码实现在各领域具有相同性,之后同学可以在其他感兴趣的领域结合数据进行分析,利用此课题所学知识举一反三。
图数据库的基本概念主要包括图、节点、边、属性、图查询和图算法。通过将数据以图的形式存储和查询,图数据库可以更方便地表示和处理实体之间的关联关系。
基于标签的推荐系统 用户用标签来描述自己对物品的看法,因此,标签成为了联系用户和物品的纽带。因此,标签数据是反应用户兴趣的重要数据源,而如何利用用户的标签数据来提高用户个性化推荐结果的质量,是推荐系统研究的重要问题。 在如何利用标签数据的问题上,豆瓣无疑是这方面的代表。豆瓣将标签系统融入到他们的整个产品线中。下面以豆瓣读书为例进行介绍。首先,在每本书的页面上,都提供了一个叫做“豆瓣成员常用标签”的应用,它给出了这本书上用户最常打的标签。同时,在用户希望给书做评价时,豆瓣也会让用户给图书打标签。最后,在最终的
董鑫,携程基础业务部BI团队高级算法工程师,博士毕业于上海交通大学计算机科学与技术系。 近些年,深度学习在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。相对来说,深度学习在推荐系统领域的研究与应用还处于早期阶段。 携程在深度学习与推荐系统结合的领域也进行了相关的研究与应用,并在国际人工智能顶级会议AAAI 2017上发表了相应的研究成果《A Hybrid Collaborative Filtering Model with Deep Structure for Recommender
推荐系统[1](Recommender System,RS)能够根据用户的偏好主动为用户推荐商品或项目。它通过用户的历史数据来发掘用户兴趣偏好,从而将用户可能感兴趣的物品推送给用户,一个设计出色的推荐系统能够为企业带来可观的经济效益。
近些年,深度学习在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。相对来说,深度学习在推荐系统领域的研究与应用还处于早期阶段。 携程在深度学习与推荐系统结合的领域也进行了相关的研究与应用,并在国际人工智能顶级会议AAAI 2017上发表了相应的研究成果《A Hybrid Collaborative Filtering Model with Deep Structure for Recommender Systems》,本文将分享深度学习在推荐系统上的应用,同时介绍携程基础BI团队在这一领域上
2022年4月29日晚,在线上举办的2022年国际万维网大会(The Web Conference,简称WWW)上,北京大学-腾讯协同创新实验室(以下简称:联合实验室)针对大规模图存储与计算关键技术研究的最新成果“可扩展范式下的图网络架构搜索系统 (PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm)”获得大会唯一最佳学生论文奖(Best Student Paper Award),联合实验室主任崔斌教授也受
图1 获奖证书以及官方宣传 4月29日晚,国际万维网顶会WWW-2022(The Web Conference,简称WWW)公布了本届会议的最佳论文。以北京大学计算机学院崔斌教授博士生张文涛为第一作者的论文“可扩展的图神经结构搜索系统 (PaSca: a Graph Neural Architecture Search System under the Scalable Paradigm)”斩获大会唯一的最佳学生论文奖(Best Student Paper Award)。 WWW官方Award链接:http
推荐系统技术,总体而言,与NLP和图像领域比,发展速度不算太快。不过最近两年,由于深度学习等一些新技术的引入,总体还是表现出了一些比较明显的技术发展趋势。这篇文章试图从推荐系统几个环节,以及不同的技术角度,来对目前推荐技术的比较彰显的技术趋势做个归纳。个人判断较多,偏颇难免,所以还请谨慎参考。
关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 计算机视觉研究院专栏 作者:Edison_G 来自北京大学 DAIR 实验室与腾讯机器学习平台部 Angel Graph 团队共同完成的研究斩获WWW 2022 唯一最佳学生论文奖(Best Student Paper Award)。 4 月 29 日晚,国际万维网顶会 WWW-2022(The Web Conference,简称 WWW)公布了本届会议的最佳论文。以北京大学计算
导读 DataFunCon是由DataFun主办的线上技术大会,由20余位知名专家学者出品,设置了18场专题分享,有超过80位一线资深技术专家参与分享,汇集了2020大数据、AI领域最新技术实践。本次大会将于7月25-26日,9:30-18:00在线上举行。 7月26日,9:00-12:20,由腾讯大数据智能学习团队负责人陶阳宇先生担任出品人的DataFunCon:AI 平台/框架论坛将准时开启,感兴趣的小伙伴和小编一起来了解下吧: 详细介绍: 出品人:陶阳宇 博士 腾讯大数据 | 智能学
上一篇文章《wide&deep 在贝壳推荐场景的实践[1]》中,我们介绍了贝壳首页推荐展位使用的 Wide & Deep 模型,本文向大家介绍贝壳房源详情页推荐展位使用的 DeepFM 模型。
随着音乐行业的不断发展和热爱音乐的人不断增加,为了适应当今社会人们追求质量和高标准的生活,从大量的歌曲中找到个人喜好的小部分歌曲成了当务之急,然而普通的系统已经无法处理这种相当大的数据,然而基于大数据的音乐推荐系统作为可以解决这个重要难题的主要解决办法,其方法的好用程度已经成为了人类高标准生活的重要的一部分。随着计算机技术和互联网的高速发展,大量的数据随之产生,如何从大量的、冗余度、低质量的数据中找到符合要求的高质量数据成为了重中之重,所以构建一个能够将大量低质量、复杂、冗余的数据转换成高质量数据的音乐推荐系统有非常重要的意义。
在这个阶段,YouTube认为应该给用户推荐曾经观看过视频的同类视频,或者说拥有同一标签的视频。然而此时,YouTube的视频已是数千万量级,拥有标签的部分却非常小,所以如何有效的扩大视频标签,被其认为是推荐的核心问题。解决方案的核心有两块,一是基于用户共同观看记录构建的图结构(Video Co-View Graph); 二是基于此数据结构的算法,被称为吸附算法(Adsorption Algorithm)。
个性化推荐的目标是连接用户与内容、提升用户体验和优化内容生态。为了实现以上目标,算法需要理解内容,了解平台上可用于推荐的内容;同时也要理解用户,了解用户的兴趣爱好,从而进行精准推荐。
本文作者:陈文石,2012年毕业于东南大学,美团点评算法专家,目前负责点评平台及综合 BG 推荐平台业务。在加入美团点评之前,曾在百度做过一些个性化推荐相关工作。对人工智能在搜索、推荐等业务应用上有较深入理解和实践。
领取专属 10元无门槛券
手把手带您无忧上云