Facebook开源强化学习平台Horizon，可大规模部署AI

编译：chux

出品：ATYUN订阅号

Facebook开源了Horizon，这是一个由Facebook AI研究人员，推荐系统专家和工程师创建的强化学习平台。

Facebook工程师和Horizon项目负责人Jason Gauci在电话采访中表示，该框架的研发开始于两年半前，并在Facebook内部已使用一年。

Horizon是为大规模部署AI而制定的，因此公司或研究团队可以执行可能需要数千个CPU或GPU进行数十亿观测的操作。但是，由于它使用Apache Spark进行预处理而PyTorch用于训练AI系统，因此Horizon也可以部署在一台计算机上。

Facebook的产品团队使用Horizon进行诸如M Suggestions之类的服务，可以推荐翻译的服务，Spotify歌曲，食物网络食谱以及基于Facebook Messenger对话中使用的单词的无数其他内容。

它还被用于确定Facebook 360视频的比特率，并在Facebook应用选择向用户发送通知时进行个性化。

强化学习使用奖励来推动智能体的活动以达到期望的目标。Facebook选择开源Horizon来推动强化学习和无监督学习方法领域既包括新手实践者和学生，也包括大型研究项目。像Facebook一样，大型研究项目需要数千台机器来训练AI系统。

Gauci表示，“我认为涉及机器学习在行业范围内广泛采用时，强化学习是下一个前沿，所以我们想开源它，为人们提供一个良好的平台，让全世界都开始使用强化学习。”

Facebook对于训练或部署AI的开源工具并不陌生。流行的深度学习框架PyTorch 1.0版于10月发布，集成了Google Cloud，AWS和Azure Machine Learning。还有Caffe2和Parlai，一个训练AI模型的平台。Facebook AI Research的研究也是开源的。

除了使用PyTorch和Apache Spark之外，TensorBoard X还用于训练可视化，ONNX用于训练后提供AI模型。

与在线运营的大型组织的其他形式的强化学习不同，Horizon可以离线训练AI系统。

Horizon采用一种称为反事实政策评估的技术来评估AI系统的离线性能，以确定替代方法是否可以在上线之前提高性能。

Gauci解释道，“我们可以反事实地看待这些替代行动，然后说’也许这种替代行动在这种情况下更好，’所以使用这个我们可以离线训练，而不是像很多强化学习那样在网上训练，模型总是在变化，我们有一个阶段，评估模型，对模型的性能有信心，然后工程师可以选择是否部署该模型。Horizon平台开放所有这些并使其全部可用。”

Horizon平台也是为了规范大型数据集的训练，这是强化学习中常见的问题。该平台附带逐步说明，因此任何拥有基本计算机科学知识的人都可以使用该平台，而不仅仅是Facebook等公司的研究人员或专家。

Gauci说，“任何具有任何基本Unix经验的人都可以生成数据集并训练模型，看它是如何工作的。我们希望让很多人对这个领域感到兴奋。”