"感知不强"又"徒增功耗"？为何今年5G手机也这么重视AI

晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI

今年你准备换手机了吗？

小米10、一加8、OPPO Find X2、vivo NEX 3s、iQOO 3、realme X50 Pro……上半年一大波手机发布潮依然在继续，简直让选择困难症不知所措。

什么才是你换机的最大动力？可能绝大部分人都会说是5G。

的确，5G让手机的网络速度更快，但还有一项指标性能的重要性一点不亚于5G。

从去年开始，各大手机评测开始给手机加入了一个新的评测维度——AI跑分。这个过去从来不受关注的参数，如今成为了不少人心中衡量手机性能必不可少的一项指标。

国内知名的性能测试软件鲁大师甚至还专门提供了AI跑分测试软件AImark。

在鲁大师最新公布的AImark跑分中，高通骁龙865以11万的高分拿下芯片榜第一，不仅比高通上一代芯片提升一倍，也把苹果的A13仿生芯片远远甩在身后。

高通为何要提升手机芯片看似“感知不强”的AI能力呢？

AI跑分又是否仅是一个“徒增功耗”、“方向错了”的噱头？

然而你可能不知道的是，至少在拍照这件事情上，如果没有AI，旗舰手机今后可能真的无法玩转了。 有人也许不禁要问，AI技术和手机日常使用有什么关系？

手机AI有什么用

要解答这个问题，我们先来看看鲁大师到底给骁龙865测试了什么。

这次高通骁龙865夺冠的鲁大师AImark 2.0测试总共包括了4项成绩。这4项分别代表手机在4种不同神经网络下的运算能力。

先看前两项基本AI能力，ResNet-34和Inception V3。

ResNet是当前应用最广的卷积神经网络（CNN）的特征提取网络，多数处理图片的AI模型或多或少的使用了ResNet。在神经网络越来越复杂的今天，ResNet可以做到在更深的神经网络上不降低性能。

Inception V3是Google开发的一个开源神经网络模型，进一步提高了图像分类效果。用了Inception之后，神经网络结构的宽度和深度都可扩大，能够带来2-3倍的性能提升。

如果说前两项是考察芯片的基础AI能力，那么后两项就是靠具体单科能力了。

MobilenetSSD是一种目标检测算法，具有速度快，精度高的特点。所谓目标检测就是让AI找出图像中的物体，指出它们的位置和种类。SSD表示一次拍摄即可检测图像中的多个对象。

这种模型目前在手机AI中有广泛的应用。比如手机拍照中的场景识别，目标能够知道你拍摄的是美食还是植物。

当识别出照片主体的内容后，拍照算法就会对画面做出特定的优化，拍出更美的照片。

在实测中，高通骁龙865能让整个识别的过程不到1秒就能完成，真正提升了拍照场景识别的易用性。

Deeplab V3+是目前在手机设备上效果最好的图像语义分割模型之一。

语义分割比目标检测更进一步，目标检测仅能识别出物体的大致位置，而语义分割要求对识别出的物体做到像素级的划分，精确画出边缘。

更通俗地说，这一项跑分测试的是手机AI“抠图”能力。

由于受到体积所限，手机摄像头单靠光学成像不能做到和单反相机一样的背景虚化能力，这时候就需要语义分割模型的帮助。

不仅如此，今年各家手机主打超强变焦、8K视频、超级防抖，都需要AI计算的支持。

到这里，你还会觉得手机芯片性能强大的用处只能用来打游戏吗？

游戏满帧运行对旗舰手机来说早就不是难事，但是各种新奇拍照玩法直到近两年才崭露头角，最重要的原因就是骁龙系列芯片AI能力的巨大提升。

AI性能翻倍的法宝——张量核心

那么高通又是如何在短短一年内将AI性能翻倍的呢？

我们先来看看骁龙865的构造：

除去SoC中最基本的CPU、GPU和图像处理单元ISP，骁龙865中集成的Hexagon处理器中包括一个专门为AI运算加速的Hexagon张量加速器（HTA）。

其实Hexagon之前是SoC中的数字信号处理单元，也就是常说的“DSP”，之前主要被用来处理语音和音视频解码。但是随着AI技术的兴起，高通终于给Hexagon升级了。

在去年骁龙855的Hexagon 690中，高通首次引入HTA实现了专用的可编程的AI加速。作为骁龙865集成的第五代Qualcomm人工智能引擎AI Engine的核心，Hexagon 698的HTA能效比上代提升了35%。

此外，骁龙865还在GPU上改善了浮点运算和AI性能，系统整体运算能力与前代（7TOPS）相比提升一倍多，实现高达每秒15万亿次运算（15TOPS）。

这也与AImark的实际跑分相符，证明了高通AI运算能力是实打实的提升，而非针对跑分软件做出的特殊优化。

但手机AI是需要对整体考量，不是靠堆料就能简单地实现性能提升。

手机和云端AI、PC端AI最大的差异是，需要考虑有限的续航与散热能力，也要考虑开发端口的特殊性。

普通的GPU做的是16位或者32位的浮点运算，优点当然是精确度高、性能强大，但是能耗也更高。

而Hexagon支持的是8位和16位的定点运算，这种运算更适合压缩后AI模型，虽然精度有些许损失，但是运算量大大减少，在边缘设备上应用广泛。

高通和Android开发商谷歌还对Hexagon上的应用开发做出了定向优化。

比如高通的神经处理器SDK、Android神经网络API和高通Math库等，都可以被开发者所用，用来快速开发高效的AI应用。

此外，高通还采用了一种深度学习带宽压缩的技术，将数据量压缩一半，降低了运算能耗。

骁龙865的AI性能提升绝不仅止于此。在处理AI任务时，往往有大量的数据进入到芯片中，而处理这些海量数据需要消耗更多电能、增加功耗。

对此，高通开发了一项全新的专用技术——深度学习带宽压缩。这还是一项完全无损的压缩技术，也就是说所有数据的精度不会有任何损失。

带宽压缩能够对这些海量数据进行高达50%的压缩，以节省电能、降低功耗。

在一些对AI性能要求极高的情形中，骁龙865与今年最新的LPDDR5高带宽内存相互配合、相得益彰。

总之，骁龙865的AI不仅仅是简单的加个神经网络核心，而是从CPU、GPU、Hexagon处理器（包括张量加速器），再到软件、内存带宽压缩等等的一整套AI解决方案。

AI让手机真的“智能”了

当然，AI性能的提升不仅仅是性能指标，也给我们的生活带来了突变。

高通在去年的AI Demo Day上，和多家手机厂商、软件开发商展示了手机端AI应用的无限前景。

专门开发拍照算法的虹软，基于骁龙移动平台，用AI实现了更强大的超级夜景和全身塑形美颜。

AI行业巨头旷视和商汤在人脸识别和3D建模上玩出了新花样。

其实高通骁龙865岂止是在图像处理上的性能提升，它也让过去噱头意味更浓的语音助手有了实用价值。

今年的Hexagon处理单元具有了对上下文感知低功耗AI语音助手的支持，对语音识别、声音传感器的处理再上一层楼。语音助手会比过去更灵敏，多轮对话也更智能。

在语音翻译方面，鉴于骁龙865首次支持文本和语音实时翻译的AI特性，网易有道还与高通合作开发了同声传译的功能，出门再也不怕语言障碍。

过去需要大量运算的人工智能技术在手机这个小小的终端上实现，靠的是骁龙865等一系列芯片在AI性能上质变的提升

现在，你还觉得手机AI只是“感知不强”、“徒增功耗”的宣传噱头吗？

— 完 —