谷歌斯坦福等联手推进ML基准：AI性能评估系统MLPerf新版出炉

大数据文摘出品 编译：蒋宝尚

去年，谷歌、斯坦福、伯克利、哈佛、百度、英特尔、AMD等40多家科技企业联合发布了一款致力于衡量机器学习性能的通用标准的系统。

这个系统被名为MLPerf，目的在于确定AI界的标准模型和数据，从而为云计算、自动驾驶等等的模型的速度和质量提供一份参考。

当时发布的MLPerf Training 项目处在早期阶段，但是却代表着原本市场规模较为有限的 AI 性能比较方案正式踏上发展正轨。

6月24日，这个组织联盟推出MLPerf Inference v0.5，意味着首个用于评估AI推断性能的系统出炉。

这个系统包含5个方向的内容：WMT英德数据集的英德机器翻译基准、COCO数据集的2个目标检测基准，以及ImageNet数据集的2个图像分类基准。

据VentureBate报道，MLPerf的具体提交的材料将在9月份接受审查，10月份就能能够看到完整的绩效结果。

感兴趣的企业可以在官网申请测试?

https://mlperf.org/

MLPerf联合发布企业

MLPerf在一份声明中表示，过去11个月里，ARM、Facebook、谷歌、通用汽车(GeneralMotors)、NVIDIA和多伦多大学(TorontoUniversity)等合作组织共同确认了推理标准。

MLPerf Inference工作组的联合主席David Kanter表示，此基准能够评估哪些AI解决方案值得投资的。也可以帮助工程师指明方向，确保他们正在为正确的事情进行优化，正在为正确的解决方案努力。

近日推出的基准依然遵循2018年12月发布的MLPerf Training基准。当时的结果是谷歌的TPU和英伟达的GPU在处理机器学习算法中的表现最好，也即这两个是顶级硬件。

MLPerf提供的参考代码实现将被合并到现行的主流工具中，如Facebook的PyTorch、Google的TensorFlow等等，目的是提高机器学习的硬件和框架之间的互操作性。

另外，MLPerf测量人工智能能源效率的计划出台前不久，研究人员发现，像OpenAI的GPT-2和谷歌的BERT以及Transformer这样的深度学习算法的碳排放是汽车的5倍。

相关报道：

https://venturebeat.com/2019/06/24/mlperf-introduces-machine-learning-inference-benchmark-suite/