AI Benchmark可以测试智能手机的神经网络性能

编译：chux

出品：ATYUN订阅号

芯片制造商高通，华为和联发科有什么共同之处？所有这三种市场硬件架构都可以加速计算机视觉，自然语言处理以及智能手机，平板电脑和其他移动设备中的其他机器学习任务。麻烦的是，这些是对经验基准测试的挑战，这可能使开发人员难以针对特定平台优化算法。

苏黎世联邦理工学院的研究人员正试图通过一款名为AI Benchmark的安卓新应用来解决这个问题，他们希望这将成为一个为大众普遍接受的测试套件。它今天在谷歌Play商店推出，适用于任何运行Android 4.1或更高版本的手机。

AI研究员和开发人员Andrey Ignatov表示，“由于没有关于此的信息（目前，所有AI算法都在服务器上远程运行，而不是在您的设备上运行，除了集成在手机固件中的一些内置应用程序），我们决定开发自己的工具，将清楚地显示每个设备的性能和功能。”

AI Benchmark评估智能手机在一系列开源算法中的表现，这些算法执行图像分类，面部识别，图像超分辨率以及照片增强，分割和去模糊。它甚至测试了自动驾驶汽车中使用的神经网络的性能，研究人员预测这种神经网络最终可能会在与智能手机相媲美的芯片上运行。

随着应用程序按照自己的步调进行操作，它会生成算法输出的可视化，并输出一个分数，该分数会影响片上系统和可用RAM的速度。（一般来说，神经网络越大，处理它所需的RAM就越多。）

以下是表现最佳者的部分列表及其相关分数。在AI Benchmark网站上提供了完整列表：

1.Huawei P20 Pro – 6397

2.OnePlus 6 – 1875

3.Sony Xperia XZ2 – 1664

4.Samsung Galaxy S9+ – 1494

5.Razer Phone – 1470

6.Samsung Galaxy S9 – 1446

7.OnePlus 5T – 1440

8.OnePlus 5 – 1416

9.Samsung Galaxy Note 8 – 1408

10.Xiaomi Mi Mix 2 – 1405

那么，顶级智能手机是如何比较的呢？Ignatov总结了该团队最初的发现，既有趣又荒谬。

他说，高通芯片加速了与所有Android版本不兼容的量化或压缩神经网络。不使用该公司专有的Snapdragon软件开发的典型网络无法利用其Hexagon DSP AI加速芯片，尽管Ignatov指出，如果执行“适当的驱动程序”，这样的网络可能会受益。

“如果你正在开发一款使用AI的应用程序，除非你只为他们的处理器开发它，否则你不会对Snapdragon的SoC进行任何加速，”Ignatov说。

另一方面，华为的麒麟神经处理单元（NPU）提供了出色的性能，神经网络的加速度几乎是10倍，但与量化神经网络不兼容。华为表示将在今年晚些时候提供支持。（Ignatov指出，华为P20和P20 Pro是市场上唯一运行Android 8.1 Oreo的手机，可为应用程序提供AI加速。）

至于三星的Exynos阵容和联发科技的NeuroPilot AI平台，结果有点混乱。三星的处理器仅支持从Android 8.1开始的人工智能加速，并且由于功耗优化和节流，性能变得显著，在某些情况下高达50％。与此同时，联发科的芯片组，即少数支持量化和普通神经网络的芯片组，被三星和华为超过。

Ignatov指出，“利用我们的技术得出的结果：Snapdragon理论上可以提供良好的结果，但缺乏驱动力；华为现在非常出色；三星现在没有加速支持（很可能这会很快改变，因为他们现在正在开发自己的AI芯片），但他们有功能强大的CPU；联发科表现出中档设备的良好效果，但没有什么突破。”