Spotify如何对Spotify Home进行大规模实验

作者 | Sergio De Simone

译者 | 平川

策划 | 丁晓昀

每年，Spotify 都要在其 Spotify Home 平台上进行 250 多次在线实验。这是一个有几十个团队在使用的平台。Spotify 产品经理 Nik Goyle 解释说，为了完成如此大规模的实验，Spotify 使用了许多不同的工具。

Spotify Home 平台是一个个性化的界面，用户可以在这里检索熟悉的内容，并发现根据自己的喜好量身定制的新内容。[…]Home 实验专注于拓展个性化的边界，探索可以用于定制内容和编程策略的创新性方式。

在 Spotify 这样的规模下，开发定制工具来提高在线实验的效率非常有意义，尤其是 A/B 测试。其中，我们有一个工具名为 Home Config，它让开发人员和测试人员可以对个性化策略做微调。Goyle 将其描述为一个配置即服务工具。借助它，技术用户和非技术用户都可以轻松创建个性化的体验并进行测试：

[Home Config] 允许他们定义与排名、内容、视觉处理等相关的参数，确保为用户提供个性化的、量身定制的体验。

实验平台（Experimentation Platform）是 Spotify 的解决方案的另一个重要组成部分。它可以将使用 Home Config 创建的配置发布到生产中，加快实验过程。它为实验人员提供了一个功能完备的界面，用来设计、启动和监控实验。通过 EP，实验人员可以定义实验参数，建立对照组和实验组，跟踪指标，分析结果。

第三个工具是 Home QA。这是一个前端应用程序，能够模拟 Home 请求，在启动前确保每个实验都不会造成任何破坏。

在 Spotify 的实验方法中，还有一个关键的方面是协调。这是由另外两个工具支持的：一个是实验跟踪器（Experiment Tracker），用于从一个集中的位置对所有实验进行优先级排序和监控；另一个是实验验证助手（Experiment Validation Assistant），它会检查提议的 A/B 测试配置是否正确，并自动提供可操作的数据用于验证。

EVA 减少了开销，并且能够确保实验符合预定义的标准。EVA 验证的结果会在指定的 Slack 频道中共享，从而实现快速反馈及必要的调整。

虽然并非所有的组织都有资源来实现自己的实验工具，但 Spotify 的方法说明了成功进行大规模实验的一些重要的策略要求，包括如何配置实验、部署和运行实验、实验质量保障，以及如何简化沟通。如果你对完整的细节感兴趣，请阅读原文。

原文链接：

https://www.infoq.com/news/2023/07/spotify-home-experiments-scale/