深度 | 人工智能如何帮你找到好歌：探秘Spotify神奇的每周歌单

选自Hackernoon

作者：Sophia Ciocca

机器之心编译

参与：李泽南

AI 时代音乐 App 的个人推荐系统背后有着什么样的技术？本文将以 Spotify 为例为你作出解答。

每周一，超过一亿 Spotify 用户都会接收到等着他们的新版推荐歌单。其中包含了 30 首用户从未听过，但很可能会喜欢的音乐。这一功能被称作 Discover Weekly，它引发了人们的热议。

本文作者也是 Spotify 的重度用户，对于 Discover Weekly 更是青睐有加。这一功能让我感觉到神奇，它的音乐品位超过了我所认识的任何人。每个星期，它都会向我推荐最喜欢的新歌，找到那些我自己永远无法找到——但喜欢的东西。

它长这个样子：

我这个星期的 Discover Weekly 歌单。

事实证明，沉迷 Discover Weekly 的并不只是我一个人，现在 Spotify 已经开始转变思路，试图在基于算法的歌曲推荐方面投入更大精力了。

自从 Discover Weekly 在 2015 年出现以来，我一直在试图研究它背后的技术。它是如何每周为你选好 30 首符合口味的新歌的？首先，让我们先来了解一下流媒体音乐服务和推荐系统，以及为什么 Spotify 比它的竞争对手们做得更好。

在线音乐 App 发展简史

回到 21 世纪初，Songza 开启了在线音乐服务时代，那个时候，App 还是通过人工管理为用户提供播放列表的。「人工管理」意味着存在一个「音乐专家」团队或其他监管者在挑选歌曲编写播放列表，而用户拿到的歌单多少取决于个人喜好（后来，Beats Music 也使用了相同的策略）。手工编辑的歌单本身没有问题，但它们很难符合每位用户的音乐喜好。

和 Songza 一样，Pandora 也是在线音乐服务的元老之一，它使用了稍稍先进一些的方法来代替手动编出的歌单——标记歌曲风格。通过让听完音乐的用户为每首歌打上标签，Pandora 可以简单地通过筛选标签的方式来制作播放列表。

与此同时，在著名的 MIT Media Lab 中，Echo Nest 诞生了，它是一个更为先进的个性化音乐推荐系统。Echo Nest 使用算法分析歌曲的声音和文本内容，这意味着它可以完成音乐识别、个性化推荐、创建歌单和分析等功能。

最后，Last.fm 又采用了另一种方法并一直沿用到了今天，这种被称为「协同过滤」的方法与其他方法略有不同。

以上是大多数其他流媒体音乐服务采用的推荐形式，Spotify 神奇的推荐引擎似乎比其他方法更加准确，后者是如何做到的呢？

Spotify 的三种推荐模型

Spotify 其实并没有发展出依靠单一算法的推荐模型——它参考了其他服务采用的方法，并整合出了自己的最佳策略，构建了名为 Discovery 的引擎。

为了创建 Discovery Weekly 歌单，Spotify 主要使用了三种推荐系统：

• 协同过滤模型（与 Last.fm 使用的类似），通过分析你的行为和其他用户的行为来工作。
• 自然语言处理（NLP）模型，通过分析文本来工作。
• 语音模型，通过分析原始音轨工作。

让我们来深入了解一下这些推荐模式的运作方式吧。

推荐模型 #1：协同过滤

首先看看背景：当很多人都听到「协同过滤」这个词之后就会想起著名在线视频网站 Netflix，因为这是第一家使用协同过滤驱动推荐引擎的公司之一，Netflix 使用用户对于电影的打分类获知人们对电影的喜好程度并向「类似」用户进行推荐。

在 Netflix 成功之后，这种方法很快传播开来，现在评星打分系统通常是所有推荐模型的基础。

但与 Netflix 不同，Spotify 不会让用户为歌曲评星。取而代之的是，Spotify 的数据来自于隐式反馈——流媒体服务会记录我们所听的歌曲，同时留意其他一些数据，包括用户是否将歌曲保存在自己的歌单中，以及是否在听完歌后访问了艺术家的主页等等。

但什么是协同过滤？它是如何工作的？简而言之，就像 Daft Punk 所演示的：

这里面发生了什么？两个人都有一些自己喜欢的歌，左边那位喜欢 P、Q、R 和 S，右边那位喜欢 Q、R、S 和 T。

协同过滤使用以上数据我们可以这样认为：

「看来你们都喜欢 Q、R 和 S，所以你们很可能是相同类型的用户。所以你们应该听听对方喜欢——而自己没听过的那几首歌。」

所以我们应该给 Thomas（左）推荐歌曲 P，给 Guy-Manuel（右）推荐歌曲 T，很简单是不是。

但是把这个方法套用在 Spotify 上，实际上需要分析的是数百万用户的喜好，推荐的也是数百万用户的歌单，所以我们需要用上 Python 库。

在这里，你看到的矩阵是庞大的。每一行代表 Spotify 的 1.4 亿用户的一个（如果你是 Spotify 的用户，你在里面有自己的位置），每一列代表 Spotify 3000 万歌曲库里的一首。

在矩阵交点处，当某用户听过一首歌后标记为 1，否则为 0。如果我听了 Michael Jackson 的《Thriller》，那么在我这行里代表 Thriller 的位置会标记为 1。（注意：Spotify 已经在尝试让其中的数字更加复杂，不再仅限 1 和 0）

随后我们得到了一个非常稀疏的矩阵——所有人听过的歌都没有未听过的歌多，所以这个矩阵的大部分位置都会被「0」填充。但是，少量的「1」包含着决定性的信息。

随后，Python 库会运行下面这个公式：

做一些复杂的数学运算……

当这项工作完成后，我们会得到两种类型的向量，分别由 X 和 Y 来代表。X 是用户向量，代表一个用户的歌曲喜好，Y 是歌曲向量，代表一首歌的热度。

用户/歌曲矩阵产生两种类型的向量：用户向量和歌曲向量。

现在我们拥有了 1.4 亿个用户向量和 3000 万歌曲向量了。它们本身只是一些数字，但我们可以使用它们来进行很多比较。为了使用这些数据找到与我相近的用户，协同过滤使用点积比较了我的向量与所有其他用户的向量。同样的事情也发生在歌曲向量上，你可以用这种方法来找同类型的歌曲。

协同过滤是一个不错的方法，不过 Spotify 还要做得更好。

推荐模型 #2：自然语言处理（NLP）

Spotify 采用的第二种推荐模型是自然语言处理（NLP）模型。顾名思义，这种模型的数据源来自元数据、新闻、博客、评论和网络上能找到的其他各种文本。

自然语言处理是让计算机理解人类语言含义的技术，在业界通常通过情绪分析 API 来实现，NLP 是人工智能下的一个庞大领域。

NLP 背后的技术本文无法详细解释，但在此可以介绍一下高级层面上发生的事情：Spotify 会不断浏览网页，不断寻找有关音乐的博客和其他文本，然后试图分析人们对于特定的艺术家和歌曲评价如何——对于这些歌曲，他们都用了哪些形容词？在讨论歌曲本身的同时，其他哪些艺术家和歌曲被同时提到了？

在这之中 Spotify 最长提到的就是「文化向量（cultural vector）」或「顶级叙述词（top term）」了。每个艺人和每首歌曲都有数千个顶级叙述词。每个词都有相应的权重，权重则揭示了叙述词的重要性。（大概是人们用这个词形容这种音乐的概率）

「文化向量」或「顶级叙述词」。表格来自 Brian Whitman

随后，与协同过滤类似，NLP 模型会将这些叙述词的权重生成向量，代表歌曲的属性，同时比较出类似的歌曲。就是这样。

推荐模型 #3：原始音频模型

有了以上两种分析方式，你可能会问这个问题：

我们为什么还需要分析音频本身呢？

首先，加入更多的模型可以再次提升推荐系统的准确性。不过事实上，这是引入第三种模型的次要目的：原始音频模型主要用于处理新歌推荐任务。

举个例子，你的音乐人朋友在 Spotify 上发布了新歌——他/她可能只有 50 个听众——这意味着几乎不会有人会对新歌进行协同过滤，由于作者不太知名，网络上也没有人讨论它，所以 NLP 模型也不会抓取到信息。幸运的是，原始音频模型不会关注新歌的出处，有了它的帮助，你朋友的新歌就会和流行歌曲一样出现在不少人的 Discovery Weekly 上了！

所以，现在的问题是「how」——我们如何通过音频来分析音乐的风格？这似乎是抽象的。

使用卷积神经网络！

卷积神经网络是面部识别系统经常会用到的技术。在 Spotify 上，它被用于处理音频而不是像素。下图是一个神经网络架构的示例：

这个神经网络由四个卷积层，由图中左侧四个厚一些的矩形表示，三个致密层，由图中右侧三个矩形表示。输入信息是以时间-频率的形式表示的音频帧，他们随后被级联形成了频谱图。

音频帧通过这些卷积层，随后在最后一个卷积层会遇到「全局时域池化」层，它会对整个时间轴进行池化，可以有效地计算整首歌中学习到的特征并进行统计。

所有这些信息最后都被传递到输出层中，在这里系统会给出自己对于歌曲风格的理解：它是快节奏的吗？它是不插电版本的吗？它适合用作舞曲吗？所有这些特征都可以用神经网络在音频文件上准确地分析出来。

神经网络可以分析出节拍、重要部分、风格、速度和吵闹程度。下图是 Daft Punk 歌曲《Around the World》30 秒钟片段的分析示例。

最后，这些对于歌曲的理解让 Spotify 分析出不同歌曲之间的相似之处，把和用户收听列表中存在歌曲的类似新歌推送给你。综合以上三种方法，Discover Weekly 歌单形成了！

当然，这些推荐模型也与 Spotify 的整个生态系统链接，其中包含大量数据，使用大量 Hadoop 聚集推荐结果，并让这些模型能够稳定运行在大量数据组成的矩阵、无数网络文字以及音乐文件之上。现在，每个人都可以拥有自己的专属新歌单了。

原文链接：https://hackernoon.com/spotifys-discover-weekly-how-machine-learning-finds-your-new-music-19a41ab76efe

本文为机器之心编译，转载请联系本公众号获得授权。