边缘AI对数据量大的应用将至关重要

到2020年，我们预计将有超过7.5亿的边缘人工智能芯片（执行或加速机器学习任务的芯片或芯片部件，不是在远程数据中心里）被售出，这意味着26亿美元的收入。此外，边缘AI芯片市场的增长速度将远远快于整个芯片市场。我们预计，到2024年，边缘人工智能芯片的销量将超过15亿。这意味着年销量至少增长20%，是整个半导体行业9%年复合增长率长期预测的两倍多。

本文最初发布于EE TIMES博客，经原作者授权由InfoQ中文站翻译并分享。

到2020年，我们预计将有超过7.5亿的边缘人工智能芯片（执行或加速机器学习任务的芯片或芯片部件，不是在远程数据中心里）被售出，这意味着26亿美元的收入。此外，边缘AI芯片市场的增长速度将远远快于整个芯片市场。我们预计，到2024年，边缘人工智能芯片的销量将超过15亿。这意味着年销量至少增长20%，是整个半导体行业9%年复合增长率长期预测的两倍多。

这些边缘人工智能芯片可能会进入越来越多的消费设备，如高端智能手机、平板电脑、智能音箱和可穿戴设备。它们还将用于多个企业市场：机器人、相机、传感器和其他物联网设备。

随着开发人员意识到物联网系统需要将更多的智能部署到边缘，以克服延迟、性能数据隐私/安全和带宽挑战，我们探索追求更智能的边缘：什么、为什么和在哪里。

消费者边缘人工智能芯片市场比企业市场大得多，但其增长速度可能会更慢，预计在2020年至2024年之间的复合年增长率将达到18%。企业级边缘AI芯片市场的增长速度要快得多，预计在同一时间段的CAGR为50%。

然而，就目前而言，到2020年，消费设备市场可能会占据边缘AI芯片市场90%以上的份额，无论是销量还是美元价值。绝大多数边缘人工智能芯片将用于高端智能手机，占目前消费者使用的边缘人工智能芯片的70%以上。因此，在2020年及未来几年，人工智能芯片的增长将主要由智能手机驱动。我们相信，到2020年，在15.6亿部智能手机市场中，超过三分之一的手机将配备边缘AI芯片。

由于极端的处理器密集型需求，AI计算几乎都是在数据中心、企业核心设备或电信边缘处理器上远程执行的——而不是在本地设备上。边缘AI芯片正在改变这一切。它们体积更小，相对便宜，消耗的能量更少，产生的热量更少，这使得将它们集成到手持设备和非消费设备（如机器人）中成为可能。通过使这些设备能够在本地执行处理器密集型的人工智能计算，边缘人工智能芯片减少或消除了向远程位置发送大量数据的需要——从而带来可用性、速度、数据安全和隐私方面的好处。

在设备上进行处理在隐私和安全方面更好；从不离开手机的个人信息不会被拦截或滥用。当边缘AI芯片在手机上时，它可以做所有这些事情，即使不连接网络。

当然，并非所有的人工智能计算都必须在本地进行。对于某些应用程序来说，发送数据给远程AI阵列处理可能就足够了，甚至是更好的选择——例如，当设备的边缘AI芯片处理太多数据时。事实上，大多数时候，人工智能将以一种混合的方式实现：一部分在设备上，一部分在云中。在任何特定的情况下，根据需要执行的人工智能处理类型的不同，首选组合也会有所不同。

智能手机边缘人工智能经济学

智能手机并不是唯一使用边缘AI芯片的设备；其他设备类别——平板电脑、可穿戴设备、智能音箱——也包含这些芯片。短期内，这些非智能手机设备对边缘AI销售的影响比智能手机小，因为市场不增长（如平板电脑）或因为它太小，很难有实质性的区别（例如，智能扬声器和可穿戴设备的组合预计2020年也就销售1.25亿件）。不过，许多可穿戴设备和智能音箱都依赖于边缘AI芯片，因此，普及率已经很高。

目前，只有最贵的智能手机——价格分布的前三分之一——可能会使用边缘AI芯片。对消费者来说，在智能手机中植入人工智能芯片并不一定使价格高得令人望而却步。

我们有可能对智能手机的边缘AI芯片做出一个相当合理的估计。迄今为止，三星、苹果和华为的手机处理器图像可以显示裸露的硅模，所有功能都清晰可见，我们可以看到芯片的哪些部分用于哪些功能。三星Exynos 9820芯片的一个模片表明，芯片总面积的大约5%用于人工智能处理器。三星整个SoC应用处理器的成本估计为70.50美元，这是该款手机上第二贵的组件（仅次于显示屏），约占设备总材料成本的17%。假设人工智能部分的成本与芯片的其他部分相同，Exynos公司的边缘人工智能神经处理单元（NPU）大约占芯片总成本的5%。换句话说，大约是3.5美元一个。

同样，苹果的A12仿生芯片将大约7%的模具区域用于机器学习。整个处理器的估计价格为72美元，这意味着边缘AI部分的成本为5.10美元。据估计，华为麒麟970芯片的制造成本为52.50美元，而NPU芯片的制造成本为2.1%，也就是说成本为1.10美元。（然而，芯片面积并不是衡量芯片总成本中人工智能所占比例的唯一方法。据华为称，麒麟970的NPU有1.5亿只晶体管，占芯片55亿只晶体管总数的2.7%。这意味着NPU成本略高，为1.42美元。）

虽然这个成本范围很广，但可以做个合理地假设，NPU的平均成本为每个芯片3.5美元。再乘以5亿部智能手机（更不用说平板电脑、音箱和可穿戴设备），尽管每个芯片的价格很低，但这将形成一个巨大的市场。更重要的是，对制造商而言，平均成本为3.5美元，最低成本可能为1美元，在智能手机处理芯片上添加一个专门的边缘AI NPU，似乎是一件自然而然的事情。如果正常的加价，在制造成本上增加1美元对最终客户来说只会多出2美元。这意味着NPU及其附带的好处——更好的摄像头、离线语音助手等等——可以用不到1%的价格加到250美元的智能手机上。

AI芯片采购：内部或第三方？

制造智能手机和其他类型设备的公司采取不同的方法来获得边缘人工智能芯片，其决策受到手机型号和（有时）地理位置等因素的影响。有些人从第三方公司购买应用处理器/调制解调器芯片，这些公司专门制造此类芯片并出售给手机制造商，但他们不制造自己的手机。高通和联发科就是两个典型的例子；2018年，这两家公司总共占据了智能手机SoC芯片市场约60%的份额。

高通和联发科都提供各种价格的SoC；虽然并非所有的产品都包含边缘AI芯片，但高端产品（包括高通的Snapdragon 845和855以及联发科的Helio P60）通常都有。另一方面，苹果完全不使用外部的AP芯片：它设计并使用自己的SoC处理器，如A11、A12和A13仿生芯片，所有这些芯片都有边缘AI。

其他设备制造商，如三星和华为，则使用混合策略，他们从外购市场硅供应商那里购买一些SoC，剩下的则使用他们自己的芯片（如三星的Exynos 9820和华为的麒麟970/980）。

50多家AI加速器公司在企业和工业领域就边缘AI展开了竞争

如果用于智能手机和其他设备的边缘AI处理器如此出色，为什么不把它们也用于企业应用呢？事实上，有些场景已经在用了，比如一些自主无人机。无人机配备了智能手机SoC应用处理器，可以在没有网络连接的情况下，在设备上进行实时导航和避障。

然而，针对智能手机或平板电脑而优化的芯片并不适合许多企业或工业应用。如前所述，智能手机SoC的边缘AI部分仅占总成本的5%，约为3.50美元，比整个SoC的功耗低约95%。如果有人制造了一种芯片，它只有边缘AI的部分（以及一些其他必需的功能，如内存），成本更低，耗电量更少，体积更小，那该怎么办？

好吧，他们有。据称，总共有多达50家不同的公司正在研发各种各样的人工智能加速器。面向开发人员的独立边缘人工智能芯片已于2019年上市，他们可以每次购买一块，价格约为80美元。如果量大，这些芯片可能会大大降低设备商的购买成本：有些仅为1美元（甚至更少），有些则高达数十美元。目前，我们假设平均成本在3.5美元左右，使用智能手机边缘AI芯片作为替代。

除了相对便宜之外，独立的边缘AI处理器还具有体积小的优势。它们的功率也相对较低，为1到10瓦。相比之下，16个GPU和两个CPU组成的数据中心集群（尽管功能非常强大）的成本为40万美元，重量为350磅，功耗为10000瓦。

随着此类芯片的研发，边缘AI可以为企业带来许多新的可能性，尤其是在物联网应用方面。使用边缘人工智能芯片，公司可以极大地提高它们分析（而不仅仅是收集）联网设备数据的能力，并将这种分析转化为动作，避免将大量数据发送到云的成本、复杂性以及所带来的安全挑战。人工智能芯片可以帮助解决的问题包括：

• 数据安全和隐私。即使公司对数据保护保持警惕，收集、存储和移动数据到云中不可避免地会使组织面临网络安全和隐私威胁。随着时间的推移，应对这一极其重要的风险变得更加关键。有关个人身份信息的法规正在各个司法管辖区出现，消费者对企业收集的数据越来越了解，其中80%的人表示，他们认为企业并没有尽其所能保护消费者的隐私。一些设备，如智能音箱，正开始在医院等机构中使用，医院对病人隐私的监管更加严格。 通过允许大量数据在本地处理，边缘AI芯片可以降低个人或企业数据被截获或滥用的风险。例如，具备机器学习处理能力的安全摄像头可以通过分析视频来确定哪些片段有价值，并只将这些片段发送到云端，从而降低隐私风险。机器学习芯片还可以识别更广泛的语音指令，因此，需要在云中分析的音频更少。更准确的语音识别还能带来额外的好处，帮助智能扬声器更准确地检测“唤醒词”，防止它听到不相关的对话。
• 低连通性。设备必须连网才能在云中处理数据。然而，在某些情况下，连接设备是不切实际的。以无人机为例。根据无人机的工作地点不同，维持与无人机的连接可能会很困难，而且连接本身和向云中上传数据都会降低电池的使用时间。在澳大利亚新南威尔士州，装有嵌入式机器学习的无人机在海滩上巡逻，保护游泳者的安全。他们可以在没有网络连接的情况下识别被激流袭击的游泳者，或者在受到攻击前警告游泳者有鲨鱼和鳄鱼。
• （太）大数据。物联网设备可以产生大量数据。例如，一架空客A-350喷气式飞机有6000多个传感器，每天飞行时产生2.5TB的数据。在全球范围内，安全摄像头每天产生约2500PB的数据。将所有这些数据发送到云存储并分析非常昂贵且复杂。将机器学习处理器放在端点上，无论是传感器还是摄像机，都可以解决这个问题。例如，相机可以配备视觉处理单元（VPU），这是专门用于分析或预处理数字图像的低功耗SoC处理器。通过嵌入边缘人工智能芯片，设备可以实时分析数据，只传输与云中进一步分析相关的数据，而“忘记”其他数据，从而降低存储和带宽成本。
• 电量限制。低功耗的机器学习芯片甚至可以让装有小电池的设备进行人工智能计算，而不会消耗过多的电力。例如，ARM芯片被植入呼吸道吸入器中分析数据，如吸入肺活量和流入肺部的药物。人工智能分析是在吸入器上进行的，然后将结果发送到智能手机应用程序，帮助卫生保健专业人员为哮喘患者开发个性化护理。除了目前可用的低功耗人工智能NPU，各公司还在致力于开发“微型机器学习”：在微控制器单元那么大的设备上进行深度学习。例如，谷歌正在开发TensorFlow Lite的一个版本，使得微控制器可以分析数据，并将需要发送到芯片之外的数据压缩为几个字节。
• 低延迟要求。无论是通过有线网络还是无线网络，在远程数据中心执行人工智能计算，在最好的情况下也意味着至少1-2毫秒的往返延迟，在最坏的情况下则意味着数十甚至数百毫秒的延迟。使用边缘AI芯片在设备上执行AI可以把时间缩短到纳秒——对于设备必须实时收集、处理数据并采取行动的应用场景来说，这至关重要。例如，自动驾驶汽车必须收集和处理来自计算机视觉系统的大量数据来识别物体，以及来自控制汽车功能的传感器的数据。然后，他们必须立即将这些数据转换成决策——何时转弯、刹车或加速——从而实现安全操作。要做到这一点，自动驾驶汽车必须在汽车上处理它们收集的大量数据。低延迟对机器人来说也很重要，随着机器人从工厂环境中走出来，与人类一起工作，这将变得更加重要。

结束语：边缘AI对数据量大的应用将至关重要

边缘AI芯片的普及可能会给消费者和企业带来重大变化。对于消费者而言，边缘人工智能芯片可以实现多种功能——从解锁手机，到与语音助手对话，再到在极其困难的条件下拍摄令人惊叹的照片，而且不需要联网。

但从长远来看，边缘人工智能芯片的更大影响可能来自于它们在企业中的应用，它们可以让企业将物联网应用提升到一个全新的水平。由人工智能芯片驱动的智能机器可以帮助扩大现有市场，威胁到传统企业，改变制造业、建筑业、物流、农业和能源等行业的利润分配方式。对大量数据进行收集、解释和立即采取行动的能力，对于未来学家认为正在广泛应用的许多数据密集型应用——视频监控、虚拟现实、无人驾驶飞机和交通工具等——至关重要。这种未来在很大程度上取决于人工智能芯片的优势：将智能带到设备上。

拓展阅读：

https://www.eetimes.com/putting-ai-into-the-edge-is-a-no-brainer-and-heres-why