个性化推荐系统中的绕不开的经典问题有哪些

推荐阅读时间:8min~10min 文章内容:推荐系统绕不开的经典问题

推荐系统从诞生到现在,伴随产生了很多的问题,有一些问题有较好的解决方案,但是有的仍然没有通用的解决方案。介绍这些问题之前,先来介绍下推荐系统的预测手段。

推荐系统的预测手段

推荐系统的目标是预测用户跟物品之间隐藏的连接,最后将这些连接呈现给用户。想要完成这个预测,可以从以下两个方式入手:

  • 预测评分
  • 预测行为

推荐系统推荐的评分和行为都是用户对推荐结果的反馈,评分属于显式反馈,表示用户明确表示自己的态度,也有很多行为属于隐式反馈,这些行为并不是为了表达兴趣/态度,而只是在正常使用产品而已。

举个具体的例子,我们在京东首页看到的商品列表属于京东给我们的一个推荐,我们点击了某些感兴趣的商品进入商品详情页(相比我们点击的商品,大多数商品我们都不会点击),在商品详情页,我们会查看商品的介绍,如果确实需要,我们会将该商品添加到购物车(相比我们加入购物车的商品,大多数商品我们并没有加入),针对购物车中的商品,我们会选择一些直接下单(会存在很多在购物车中的商品,但是并不下单购买),等我们收到了购买的商品后,有时候我们会对所购买商品进行评分和评价(当然了,大多数人在大多数情况下并不会有该行为)。

很明显,用户的整个行为呈现一个漏斗形状,越往后,行为的数量会越少。

上面的各种行为都是针对于电商产品的,针对于其他类型的产品(比如资讯产品、视频音乐产品),这些行为的表现方式是不一样的,但是都是满足漏斗形状的。

总结来说,用户对不同类型的产品有不同的“消费方式”,也就是行为,但都是满足漏斗形状的。

不同推荐系统的任务也不同,有的直接预测用户消费后给出的评分,但更多的是预测用户的行为。

预测评分

预测评分要做的事情就是建立一个模型,根据用户已经消费过并且给过评分的物品,然后预测用户对其他物品的打分,最后将预测结果中他打高分但是没有消费过的物品推给他。

这里要说明下评分的产生方式,有的产品会直接有明确的分数显示(通常是1-5),有的产品会以“星星”的方式显示,但都是一样的道理,都可以用来作为用户评分。

看到这,可能会觉得评分预测很简单,但实际上,我们预测评分的时候会跟实际分数有误差,我们可以根据这个误差来调整模型参数,让这个误差越来越小(在机器学习领域里,这就是回归问题)。

我们在衡量预测评分与实际评分的差别时,可以有很多指标,这里简单解释一个指标:RMSE,即均方根误差。

简单解释下, t 表示每一个样本,n 表示总共的样本数,有帽子的 yt 就是模型预测出的分数,秃顶的 yt 就是实际用户打的分数,这两个分数相减就是模型预测结果的绝对误差,由于绝对误差有正数也有负数,而我们只关心绝对值大小,所以再给误差求平方,这就是名字中的“方”的来源,再对所有样本的误差平方求平均值,这就是名字中“均”的来源,因为我们对误差都平方了,所以最后再对均值开方根,这就是名字中的“根”的来源。这个过程就是求均方根误差。

评分预测问题常见于各种点评类产品(如:书影音的点评),但评分类推荐存在以下问题:

  • 评分数据不易收集,非常稀疏(数量非常少),因为评分处于漏斗环节的最后一个环节;
  • 评分的数据质量不能保证,伪造评分数据门槛低,同时真实的评分数据又处在转化漏斗最后一环,门槛高;
  • 评分的分布不稳定,整体评分在不同时期会差别很大,个人评分在不同时期标准不同,人和人之间的标准差别很大。

预测行为

推荐系统预测行为的方式有很多,常见的有两种:直接预测行为本身的发生概率,预测物品的相对排序。

直接预测行为本身的发生概率有一个更广为人知的名称叫 CTR预估,CTR 意思就是 Click Through Rate,即点击率,CTR预估要做的事情就是给用户一个物品,预测用户会点击它的概率(机器学习中的二元分类问题)。

行为预测简单来说,就是利用隐式反馈数据预测隐式反馈的发生概率。隐式反馈有以下好处:

  • 数据比显式反馈更加稠密。诚然,评分数据总体来说是很稀疏的,之前netflix的百万美元挑战赛给出的数据稀疏度大概是1.2%,毕竟评分数据是要消耗更多注意力的数据。
  • 隐式反馈更代表用户的真实想法,比如你不是很赞成川普的观点,但是还是想经常看到他的内容(以便吐槽他),这是显式反馈无法捕捉的。而人们在Quora上投出一些赞成票也许只是为了鼓励一下作者,或者表达一些作者的同情,甚至只是因为政治正确而投,实际上对内容很难说真正感兴趣。
  • 隐式反馈常常和模型的目标函数关联更密切,也因此通常更容易在AB测试中和测试指标挂钩。这个好理解,比如CTR预估当然关注的是点击这个隐式反馈。

总结来说,由于用户的行为呈现漏斗形状,所以评分数据会很稀疏(有的产品并没有直接的评分数据),所以推荐系统更多是预测用户行为。

推荐系统避不开的问题

介绍了推荐系统的两种预测手段所带来的问题后,来看下推荐系统还会遇到的问题,这些问题是目前还没有很好的通用解决方案:

  • 冷启动问题
  • 探索与利用问题(EE问题)
  • 安全问题

冷启动问题

当遇到新用户、不活跃用户、新物品、展示次数较少物品时(已存在的连接过少),会造成缺失相关数据,这个就是冷启动关注的重点

探索与利用问题

探索与利用问题,又叫 EE 问题,假如我们已经知道了用户的偏好,一般有以下三种对待方式:

  • 全部给他推荐他目前肯定感兴趣的物品;
  • 无视他的兴趣,按照其他逻辑给他推荐,如编辑推荐、随机推荐、按时间先后推荐等等;
  • 大部分给他推荐感兴趣的,小部分去试探新的兴趣,如同一边收割长好的韭菜,一边播种新的韭菜。

哪一种更科学和持久呢?显然是第三种,那么如何平衡这里的“大部分”和“小部分”呢?

这就是 Exploit 和 Explore 问题的核心了。Exploit 意为“开采,利用”,对用户身上已经探明的兴趣加以利用,Explore 意为“探索”,探明用户身上还不知道的兴趣。

安全问题

推荐系统也是系统,是系统就有漏洞。推荐系统被攻击的影响大致有以下几个:

  • 给出不靠谱的推荐结果,影响用户体验并最终影响品牌形象;
  • 收集了不靠谱的脏数据,这个影响会一直持续留存在产品中,很难完全消除;
  • 损失了产品的商业利益,这个是直接的经济损失。

作者:无邪,个人博客:脑洞大开,专注于机器学习研究。

原文发布于微信公众号 - 脑洞科技栈(naodong-open)

原文发表时间:2018-03-28

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

业界 | 如何评估深度学习的性能?英伟达提出7大挑战

17650
来自专栏GAN&CV

如何快速进阶AI的资源

本文译自:https://towardsdatascience.com/getting-started-with-reading-deep-learning-r...

14620
来自专栏PPV课数据科学社区

人工智能与大数据开发的12个注意点

人工智能是近年来科技发展的重要方向,在大数据时代,对数据采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据的开发过程中,有哪些特别需要注意的要点人工智能领...

35440
来自专栏AI研习社

从数据预处理到排序算法,全方位解读 Uber 人工智能客服 COTA

日前,Uber 官网上的一篇文章详细介绍了基于 NLP 和机器学习构建的 COTA 客服系统。利用该系统,Uber 可以快速高效地解决 90% 以上的客服问题,...

33870
来自专栏ATYUN订阅号

滑铁卢大学与DarwinAI开发离线语音模型,准确率可达97%

通常,语音识别的深度学习方法依靠强大的远程服务器进行大量处理。但是,滑铁卢大学和创业公司DarwinAI的研究人员声称已经开创了一种设计语音识别网络的策略,该策...

10210
来自专栏机器学习算法工程师

就怕你迷路!力荐!论文资源获取和AI论文阅读指导

本文译自:https://towardsdatascience.com/getting-started-with-reading-deep-learning-r...

16330
来自专栏互联网杂技

美丽的数据——数据可视化与信息可视化浅谈

我们常常迷失在数据中,纷繁复杂的数据让我们无所适从。可视化作为解决这问题的有效手段,通过视觉的方式让数字易于理解。 数据可视化和信息可视化都是可视化的一种方式,...

303110
来自专栏社区的朋友们

个性化资讯推荐算法 ( 下 )

头条为何能取得成功?很多人会说是头条的个性化推荐技术做得好,个人认为其实不尽然。本文罗列了相关的个性化推荐技术,特别是资讯推荐常用的算法,带大家从“内行”的角度...

2K00
来自专栏华章科技

看《纽约时报》如何用数据算法打造新一代推荐系统!

通过精炼读者获取这些内容的途径,即在移动应用和网站上基于读者喜好调整文章布局,能够帮助读者找到与他们相关的内容,比如在正确的时间推送读者感兴趣的内容、重大事件的...

10120
来自专栏人工智能头条

《纽约时报》如何打造新一代推荐系统

17020

扫码关注云+社区

领取腾讯云代金券