推荐系列01:人工智能与推荐系统

01 缘起

前段时间给朋友整理一个关于推荐系统相关的知识教学体系,刚好自身业务中,预计明年初随着业务规模增长,估摸着又要启动推荐相关的项目了,所以也是趁机把相关的知识结构梳理了一遍。

这边寻思着,或许可以把这些知识结构车重新梳理一遍,以其他普通人更容易理解的方式分享出来,或许能让更多的人看到,也是一个好事吧。

既然是重出“江湖”,先定他一个小目标,就先写个《推荐系列》,尽量能让不懂技术的朋友能看得懂看得爽(白话逻辑、原理、业务场景),也希望能让搞技术的朋友看到的懂(给案例给代码),这是第一篇。

02 先聊人工智能

说推荐系统之前先掰掰人工智能,这个词估计大家能能听得懂,毕竟是风口上的名词,想没听过也难。那么问题来了,你觉得推荐系统与人工智能有什么关系?

或许大半的人会认为没有半毛钱的关系,这让我想到了前几天周末在知乎上怼的一个问题,问题的核心就是:“现在大数据都很low了,大家都是去搞人智能了”。

这典型就是对于人工智能定义认知的问题,个人认为人工智能就是一个偏业务的定义,多维度多学科交叉的概念,压根儿就不好以技术维度去对比去评判。其核心的三要素就是:算法、计算能力以及数据。

围绕大量的基础数据,对基础数据进行特征处理,然后构建有用的业务算法模型,然后基于分布式的基础架构计算能力,将算法模型的用于实际的生产环境,以机器替代人工的作业,以提升效果与效率,达到机器智能化的目标。

那再回到推荐系统的话题,在过去传统的门户网站或者其他领域,也是有推荐场景的,不过大部分都是基于编辑或者运营手动进行配置推送,随着对数据、对算法模型的进一步应用,才逐渐有算法机器替代人工进行推荐,并且达到诸如“千人千面”、“个性化”推荐的效果。

所以,追究其本质,其实也是算法模型+计算过程+基础数据的流程,并且最终达到了机器自动化、智能化的效果,从广义的角度来说,或许复杂一些的推荐系统或许也能纳入人工智能的范畴了(真心怕那种一说到人工智能=神经网络的选手)。

03 推荐与检索的两种模式

说到推荐系统,就不得不说一下搜索引擎。不管是搜索也好、推荐也好,他们都是信息获取的一种机制,核心区别在于主动与被动。

搜索引擎是典型的主动触发的形态,即用户已经有明确的信息获取意图,渴望得到自身既定的目标信息,让后通过搜索规则进行最终信息的获取。

比如,你好奇什么是人工智能,那么你就会用诸如谷歌、或者国产大百度去搜索,然后获取到相关网页,去点击查看,最终完成你了解人工智能这个信息获取的目的。这就是检索的机制,你先要告诉系统你的意图,然后在给你筛选你要的信息。

而推荐系统则大大的不同,它是一种系统主动的行为,对于用户来说是一个被动的行为,被动的接受系统推送过来的信息。那这样强扭是不是很尴尬呢?怎么有这么SHA叉的机制?

其实不是的,尴尬的是推的不对,东西推对了就尴尬了,比如你正在浏览一个信息,正在愁这个信息还没解决你的问题的时候,系统啪丢给你几个新增的信息,说这个几个信息可能能解决的问题,你一看我凑,这正是我要的,感谢万能的推荐系统!

所以,推荐核心解决的还是用户额外信息获取的问题,以及提升用户的进一步转化,停留时间的延长(只要停留时间延长,商业转化机会就会加大,也是粘性提升的体现),而问题的核心就是要推的准,推的恰到好处,不然就是反作用。

因为推荐要解决的就是海量信息冗余,用户在目的不算很明确的情况,进一步帮助其确定目标,主动筛选信息的过程,推的不好那对于用户来说就更冗余了。

关于信息的获取,其实还有一种常见的形态,那就是结构化导航,比如电商平台的分门别类罗列,门户网站的结构化频道信息。它是通过把信息进行结构化了,构建脉络结构,帮助你去获取你要的信息。不过,这个就不在我们的讨论范围内了。

04 推荐系统场景

说了这么多篇逻辑理论的东西,或许很多朋友依然对推荐系统没有一个很场景化的认知,比如具体什么场景?具体什么形态?

这是我在腾讯视频上截的图,这就是典型的视频推荐场景,我不是鹅厂腾讯视频业务的算法工程师,所以我无法回答你他们的推荐机制,但我可以告诉你,当时我的观看主体是“地球脉动”,结合推荐列表,大伙儿可以揣摩一下他的推荐机制。当前观看的属性相关?导演关联性?我的观看记录偏好?从我个人的评估来看,这些因素应该都有。

顺带说一下的就是,一个完整的好的推荐系统,一定不会单纯的依赖于某个推荐算法,虽然这个系列的后面文章中,我会讲一些推荐机制或者算法逻辑,甚至附上简单的案例代码,但还是要提前说一下这个问题。

我们再来看几个同样是腾讯系的产品推荐场景:

QQ音乐平台的推荐,分析来看应该跟我当前主页音乐的风格、以及我的历史浏览相关。

最后是电商平台的典型案例,即你在浏览商品时,一般都有猜你喜欢模块,并且推荐系统得以大放光彩,成为应用领域里典型的应用场景,还是得益于亚马逊。当年亚马逊使用推荐算法帮助其提升了XX(具体多少忘了)的年度利润,从此一炮而红,基本上电商平台中的推荐系统就成了标配。

05 你也少缺少个推荐系统?

看了这么多例子,再结合自己身边实际的体验,确实不难发现,各色各样的产品、平台,都在打造自己的推荐产品,恨不得用户一直点下去,永不跳出。

鉴于这种情况,那些尚未为自己产品或者平台开发推荐逻辑的,是不是感觉自己少了个推荐系统,哈哈。

其实核心还是那句话,推荐本身就是个双刃剑,用的不好只会让用户徒增烦恼,这里所说的好不好,不单纯是说准不准的问题,准是前提,即推荐给用户切身所需肯定是好的,但这还不够,你还需要在他需要的时候给他推,时机不对、场景不对,即使你推的东西再准,那也是瞎比推。

所以,即使你觉得你少了个推荐系统,也是需要慎重,或许跟完这个系列会好点?

06 一些坑

正如上面说的,一些坑还是需要注意的。上面所说的推荐时机以及场景就不再重复了。

第一,好的推荐系统一般情况下很依赖于用户的行为数据,因为从用户行为中自然能一窥用户的一些偏好所在,但实际情况是,用户的行为数据并不是这么容易的,当用户行为数据不够的时候,基于用户行为的分析结论就是个伪命题,甚至会把你带向错误的方向。

第二,用户的偏好一定是会时间偏移进行转变的,所以用户行为的有效性又会是一个问题。

第三,假设这个是新用户呢?完全没有轨迹信息,怎么破。

第四,实际影响用户的选择的因素太多,我们容易陷入主观臆断的误区,综合性考虑是一个完善推荐系统的必须思考的地方。

第五,产品层面的逻辑有时候比底层算法更有效,典型如上面阅文的截图例子,“喜欢这本书的人也喜欢”,这就是一种策略,也是一种推荐解释,可解释性会提升推荐的可信度,诸如还有一些交互方式、产品形态都是对推荐转化有影响的。

07 最后

本文大部分还是想以更直观可理解的方式,表达什么是推荐系统。在该系列下一篇文章里,会解决推荐系统中的一些基本常识,一些基本的逻辑,以及上面少量的问题解决,比如进入系统的是一个新用户怎么办?

再往后面,会有更技术性的一些文章,甚至是Spark案例,所以偏好技术的童鞋也别放弃治疗,不管是业务童鞋还是技术童鞋,我都会尽量以更容易理解的方式去阐述。

《推荐系列》,这只是第一篇,难得有决心写一个还带码的系列,给点安慰,请期待下一章节的内容,欢迎分享和评论,让更多的同业朋友看到。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏灯塔大数据

洞察|大数据分析专家?或许这样的人根本不存在!

因为大数据这个词过于“忽悠”,乃至于大数据分析专家也让人十分景仰而不知其真身。 说实话,什么样的人可以称为大数据分析专家可能根本没有一个标准。就像笼统的说这个人...

3355
来自专栏大数据

大数据对移动应用程序开发有哪些影响?

“什么样的应用程序是一个伟大的应用程序呢?”这个问题困扰行业专家多时,大家各执己见一直到现在都还没有定论。 如果要说“一个成功的移动应用程序开发的关键因素是什么...

18710
来自专栏SAP梦心的SAP分享

他们是谁?

笔者目前所做的项目需要频繁跟供方(乙方)接触,遇到问题要协调处理的时候,经常碰到供方这样回复:不好意思,这个不是我们这个模块能处理的,这个是他们那个模块的工作,...

1503
来自专栏高性能服务器开发

如何运用 DDD 解决团队协作与沟通问题?

领域驱动设计的核心是“领域”,因此要运用领域驱动设计,从一开始就要让团队走到正确的点上。当我们组建好了团队之后,应该从哪里开始?

932
来自专栏大数据挖掘DT机器学习

一文读懂BI商业智能与大数据应用的区别

之所以要区分大数据应用与BI(商业智能),是因为大数据应用与BI、数据挖掘等,并没有一个相对完整的认知。 BI(BusinessIntelligence)即商务...

3756
来自专栏WeTest质量开放平台团队的专栏

云游戏+AI自动化,WeTest携新产品“深度兼容测试”圆满亮相ChinaJoy 2018

8月3日-6日,第十六届中国国际数码互动娱乐展览会(以下简称ChinaJoy)在上海正式启幕。在本届CJ上,连续第三年参展的WeTest与游戏安全、前沿技术、G...

1334
来自专栏数据和云

运维工程师要失业了?抛开噱头与调侃,闲聊我心中的运维!

“在知乎上,我经常受邀请回答很多类似的问题:运维到底是干什么的?运维工作有没有意思?运维有没有前途?运维是不是要被各种技术取代? ? 然而本人上知乎以休闲娱乐为...

4889
来自专栏DT数据侠

数据如何驱动业务优化?这有一份产品人必读知识清单

数据时代,判断一个互联网企业成功与否的标准之一,就是衡量它各个环节的运营是否形成了“数据飞轮”。那么对于一个互联网从业者来说,是否具有数据意识、是否能够用数据发...

871
来自专栏前沿技墅

数据驱动产品智能——数据应用与用户智能

神策数据创始人兼CEO,浙江大学计算机科学与技术专业硕士,在百度任职8年,从无到有构建了百度用户日志大数据平台,覆盖数据收集、传输、元数据管理、作业流调度、海量...

1283
来自专栏互联网数据官iCDO

【个人见解】大数据分析专家?或许这样的人根本不存在!

  因为大数据这个词过于“忽悠”,乃至于大数据分析专家也让人十分景仰而不知其真身。   说实话,什么样的人可以称为大数据分析专家可能根本没有一个标准。就像笼统的...

2825

扫码关注云+社区