论文阅读——YouTube的视频推荐系统

《The YouTube video recommendation system》是一篇详细介绍YouTube视频推荐的论文,在整个系统中没有复杂的算法,使用了一些简单有效的策略,这也符合工业界的应用,在工业界,为了考虑算法复杂度,数据量,可维护性等等一些因素,在工业界中,通常会选择一些简单有效的方法。


以下是论文的核心内容:

目标

帮助用户找到高质量且符合用户兴趣的视频,最终实现的是Top-N推荐。

总的思想

利用用户的互动行为数据,推荐与互动过视频相似的视频。

相似视频的挖掘

1、概念

相似视频指的是:当给定视频viviv_i后,用户更有可能观看的视频组成的集合RiRiR_i,公式如下所示:

Ri=f(vi)Ri=f(vi)

R_i=f\left ( v_i \right )

其中:

  • viviv_i:种子视频
  • RiRiR_i:与视频viviv_i相似的视频的集合

2、方法

关联规则(Association Rule)

计算与给定的种子视频一起被观看的概率,概率越大,相似性越高。

3、相似性的计算

计算的方法:

r(vi,vj)=cijf(vi,vj)r(vi,vj)=cijf(vi,vj)

r\left ( v_i,v_j \right )=\frac{c_{ij}}{f\left ( v_i,v_j \right )}

其中,f(vi,vj)f(vi,vj)f\left ( v_i,v_j \right )称为正则化函数,通常可以取为:f(vi,vj)=vi⋅vjf(vi,vj)=vi⋅vjf\left ( v_i,v_j \right )=v_i\cdot v_j。

计算出所有的与视频viviv_i相似的视频,根据相似性的值r(vi,vj)r(vi,vj)r\left ( v_i,v_j \right )从候选集RiRiR_i中找到Top-N的相似视频。

由(vi,vj)(vi,vj)\left ( v_i,v_j \right )可以表示成一个有向图,其中,权重为r(vi,vj)r(vi,vj)r\left ( v_i,v_j \right ),如下所示:

生成推荐的候选

1、一级

假设种子集合为SSS,由上述的相似性的方法挖掘出一些候选:

C1(S)=⋃vi∈SRiC1(S)=⋃vi∈SRi

C_1\left ( S \right )=\bigcup_{v_i\in S}R_i

这样的方法容易产生narrow recommendations,即推荐的视频与种子视频相似度极高,这对推荐来说不能满足多样性的要求。

2、二级

以一级产生的候选C1C1C_1作为种子,产生C2C2C_2。

C2(S)=⋃vi∈Cn−1RiC2(S)=⋃vi∈Cn−1Ri

C_2\left ( S \right )=\bigcup_{v_i\in C_{n-1}}R_i

3、多级

上述的结论推广至多级,形成最终的推荐结果为:

Cfinal=(⋃i=0NCi)∖SCfinal=(⋃i=0NCi)∖S

C_{final}=\left ( \bigcup_{i=0}^{N}C_i \right ) \setminus S

Ranking

ranking的指标主要有:

  • 视频质量
  • 用户特性

其他

  • 评价的方法:线上A/B Test
  • 评价的指标:CTR

参考文献

  • Davidson J, Liebald B, Liu J, et al. The YouTube video recommendation system[C]//Proceedings of the fourth ACM conference on Recommender systems. ACM, 2010: 293-296.

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券