UW搭建ReQuEST竞赛平台，构建可重复且高质高效机器学习系统

图：pixabay

原文来源：arXiv

作者：Thierry Moreau、Anton Lokhmotov、Grigori Fursin

「雷克世界」编译：嗯~是阿童木呀

在人工智能领域中，大家往往有着这样一个目标：在整个硬件/软件堆栈中协同设计高效的基于机器学习的系统以在速度、精确度、能量和成本方面取得权衡。而现在，这一目标正日益变得异常复杂耗时。对于研究人员来说，他们往往很难对在快速发展的软件框架、异构硬件平台、编译器、库、算法、数据集、模型和环境中发布的各种作品进行评估和比较。

我们的社区正在致力于开发一个开放的协同设计竞赛平台（co-design tournament platform）它具有在线公共记分板。它将逐步整合最佳的研究实践，同时为多学科研究人员提供一种通用方法，以便在各种完整的硬件/软件系统上对各种工作负载的质量VS效率的帕累托最优（Pareto optimality）进行优化和比较。我们希望利用开源的集体知识框架和ACM成果评估方法，以标准化、便携性和可复现的方式验证和共享完整的机器学习系统实施。我们计划定期进行多目标优化，并为诸如深度学习等新兴工作负载协同设计竞赛，从ASPLOS'18（ACM会议，关于编程语言和操作系统的架构支持——跨计算机架构和硬件、编程语言和编译器、操作系统和网络的跨领域系统研究的主要论坛）开始，以构建一个能够轻松进行重用和构建的最高效算法和系统的公共存储库。我们还将利用来自参与者的反馈意见以继续改进我们的平台和共同设计方法。

近年来，机器学习经历了飞速的发展历程。在科学界，我们极为罕见地见证了各个社区（机器学习、系统、硬件、安全、编程语言等）在提高基于机器学习的系统的性能、精确度、稳定性和成本方面的共同努力。

然而，想要实现这样一个基于给定问题的系统（例如，用于ImageNet分类的深度学习算法），人们必须参考多个设计决策：应该部署什么网络体系结构以及如何定制（ResNet VS MobileNet）、使用什么框架（MXNet VS TensorFlow）、应该部署哪种库和哪些优化（MKL VS OpenBLAS），哪一种通常是目标硬件平台结果（Intel Xeon + NVIDIA GPU VS 基于ARM的移动SoC）的结果。在这些实施决策的基础上，特定于平台的决策可能会影响部署相关系统的性能和整体体验：诸如操作系统、内核版本、框架和库版本或依赖关系以及自定义优化等详细信息。因此，给定的系统实现（例如，在Intel + NVIDIA硬件系统上的TensorFlow上的ResNet）可以有许多变体，其中一些可能具有截然不同的性能结果。而且，随着越来越多的论文的发表，在快速发展的系统中对众多机器学习技术进行复制、重用、构建、并对其进行公平比较也变得愈加具有挑战性。

由于多个社区面临着同样的挑战，在从物联网到数据中心的各种平台中，让机器学习系统能够更快、更便宜、更小、更精确和更节能。因此，我们需要一个平台来实现自动化，并对不同的方法进行以一一对应的比较，从而实现相同的目标。例如，就精确VS效率的帕累托最优方面，深度学习的近似模拟加速器如何与现成硬件的算法简化进行比较？

因此，我们提出可复现的高质—高效系统竞赛（Reproducible Quality-Efficient Systems Tournament，ReQuEST）作为一个社区驱动平台，用以对新兴工作负载进行可重复性、可比较性和多目标性优化。我们计划将ReQuEST作为一个一年两次的研讨会，以在系统和机器学习社区之间进行交替交流。它的第一个版本将于2018年3月在ASPLOS举行，它将专注于对实际系统进行优化推理，以测试我们的平台，并利用参与者和工业委员会的反馈对其加以改进。

主要目标

ReQuEST旨在提供一个具有扩展性的竞赛框架、一个通用的实验方法，以及一个开放的存储库，用于对整个完整平台上的全部硬件/软件栈上各种实际应用、库和模型的质量VS效率的帕累托最优进行持续评估和优化，如图1所示。

竞赛框架目标：通过标准化评估方法和促进异构平台上有效解决方案的部署，我们希望促进实验结果的可重复性和系统研究成果的可重用性/定制化。出于这个原因，对成果和实验结果进行打包需要更多的参与，而不是分享一些CSV文件或检查给定的GitHub存储库。

这就是为什么我们要在一个开源的、便携性工作流框架（集体式知识或CK），以及ACM系统会议（CGO、PPoPP、PACT、SuperComputing）中标准ACM成果评估方法的基础上建立竞争，以提供统一的评估和实时记录，如图2所示。

度量指标和帕累托最优目标：我们希望在体系结构/编译/系统社区中强调质量意识，在应用程序/算法社区和最终用户中强调资源意识。提交内容及其评估指标将保存在包含实时记分牌的公共存储库中。在一个有关精确度、执行时间、功耗/能耗，硬件/代码/模型占用空间、货币成本等应用程序的多维空间中，我们将特别关注一个接近帕累托边界附近的提交。

应用目标：从长远来看，我们将涵盖一整套与机器学习和系统研究人员最相关应用领域的工作负载、数据集和模型。根据学术界和业界的反馈和贡献，这个套件将得以不断的发展。该套件中的所有研究结果都可以自动插入到ReQuEST竞赛工作流程中，以简化和自动化实验。

完整的平台目标：我们的目标是涵盖一整套从数据中心到感官节点的全面硬件系统，并且长期包含各种形式的处理器，包括GPU、DSP、FPGA、神经模拟甚至模拟加速器。

未来的研究

我们的目标是让多学科研究人员

1.发布正在进行或已完成研究的研究成果，标准化评估工作流程，促进最先进研究的部署和技术迁移，

2.促进质量——效益之间权衡的探索，

3.创建一个讨论区，引导社区转向新的应用程序、框架和硬件平台。

我们希望通过举办每年两次的竞赛，同时辅以学术界和工业界的小组讨论，为研究人员制定一个连贯的研究路线图。我们希望随着参与度的增加，问题（视觉、语言、甚至机器学习之外）和平台（新型硬件加速器、SoC、甚至包括模拟、神经形态、随机性，量子等异构硬件）的覆盖面将会增加。

ReQuEST按照每年两次的周期进行组织，按照面向系统和面向机器学习方式交替举行会议。第一届ReQuEST研讨会将于2018年3月与ASPLOS共同举办。本次研讨会的目标是呈现参与者所提交的研究成果，以及多目标记分牌，在这些记分牌中，高质且高效的实施将得到相应的奖励。所提交的参赛品将由一个成果评估委员会进行验证，参与者将有机会获得以ACM进程发表研究成果论文的机会。