边缘侧AI和端点应用(Endpoint application)创业公司

以下内容来自于EETime。

原文地址 - https://www.eetimes.com/chip-startups-for-ai-in-edge-and-endpoint-applications/

整个行业都在努力找到可以提升AI性能（to accelerate the AI performance）的最优解，以跟上和满足先进的神经网络所带来的需求，在全球各地都有这种各样的创业公司如雨后春笋般(spring up around the world)冒出来。

同时这个领域(sector）也吸引了大量的风险投资(venture capital funding)，其不仅带来了大量的现金，也带来了各种各样有关新的计算架构的新的思维(novel idea for computing architectures)。

EETime在此跟踪了包括美国，欧洲和亚洲在内的多个领域创业公司，这些公司有的重新发明了可编程逻辑(reinvent programmable logic)，多核心设计(multi-core design)，甚至开发了全新的架构(entirely new arthitecture)，有些使用了极具未来感的技术(futuristic technologies)比如神经形态(Neuromorphic，类脑）架构，和光学计算(optical computing)。

以下10家公司我们认为相当的令人期待(promising)，至少带来了一些新的有趣的思维。我们按照在网络中的不同位置加以分类 -

• 数据中心(data center)
• 端点(Endpoints)
• AIoT设备

AI in the Data Center

关于边缘计算的核心定义在于(key concept of edge computing)，数据被处理的位置与数据产生的位置，在地理纬度是同一个地方 （in or near the same geographical location)。包括网关(gateway)，集线设备(hub devices)，同时也可以包括可以加速AI应用的预置服务器(on-premis servers)。比如可以医院或医学研究机构(hospital or medical research facility)加速Xrays或CT扫描图形分类处理的服务器(accelerate image classification)，或者是在工厂里可以接受和处理数据的网关。

Graphcore -

创立于英国的Graphcore在最近一轮融资中估值达到了10亿美元，也是西方半导体领域创业公司中第一个独角兽公司。

该公司的IPU(Intelligence processing unit)支持大规模并行架构(massively parallel architecture)，包括1,200个专用核心(specialized cores)，每一个核心可运行6个程序线程(program threads)。同时也支持大量的(substantial)片上内存(on-chip memory)，高达几百MB的RAM，更重要的是高达45terabytes的内存带宽(importantly 45 terabytes of memory bandwidth)。

整个机器学习的模型都可以在片上存储。目前Graphcore的IPU已经用于Dell服务器的边缘计算应用中。

Groq -

成立于硅谷由前Google员工创建。在SC 19正式发布达1000TOPS(1 Peta OPS）的巨型芯片。

Groq采用软件有限的架构(software-first approach），通过编译器(compiler)执行通常由硬件执行的控制功能，比如执行计划。(execution planning)。由软件协调(orchestrate)所有的数据流和时序(data flow and timing)，以确保所有的计算是没有停顿的(stall)，使延迟，性能和功耗在编译时是完全可以预测的(predictable at compile time)。

Groq目标是将其TSP(Tensor Streaming Processor)应用于数据中心应用和无人驾驶。

Cerebras -

Cerebras复活了(resurrect)曾经在1980年代遭到放弃的wafer-scale chip。

Cerebras的巨型超过46,225平方毫米的die，占据了整个的wafer，消耗15kW的能量，集成了超过400,000个核心和18GB的内存。

Cerebras的目标是一颗芯片取代超过1000颗GPU。

该公司生成解决了困扰(plagued）wafer-scale设计的问题，如良率(yield)和散热相关的封装问题。(invented the packaging counters thermal effect)

Cambricon -

该公司开发了其自己的指令集ISA(Instruction set architecture)，一个载入存储(load-store)架构，集成了scalar, vector, matrix, logical, data transfer和control insutrctions，解决了在CPU和GPU指令集缺乏适应神经网络的灵活性问题 （agility instruction set for the acceleration of neural networks)。

Cambricon的第一款产品, Cambricon-1A，已经应用于千万级的智能手机和其他端点设备(endpoint devices)，如无人机和穿戴产品。

Cambricon第二代产品，Siyuan220，为边缘计算设计，性能达到了8TOPS，功耗为10W。

AI in the Endpoint

Endpoint设备在网络的末端，在设备端同时收集和处理信息，包括Security cameras, 消费电子产品和家电设备(appliances)。当然其中会有灰色地带，如有些产品又是网关，又是端点设备，比如智能手机或无人汽车。

Hailo -

其Hailo-8算力达到了26TOPS，2.8TOPS/W，适用于ADAS(advanced driver assistance systems)和无人驾驶(autonomous driving)。

其架构混合了存储，控制和计算单元，且相邻的单元被软件分配处理某一层的神经网络。(adjacent blocks are allocated to compute each layer of neural network by software)。减少了数据在片内和片外传输所需的功耗。

Kneron -

中国台湾的Kneron目前在圣地亚哥，中国台湾，深圳和珠海拥有办公室。

其KL520非常适合于卷积神经网络CNN（convolutional neural networks)，0.3TOPS/0.5W。适用于包括IP Security Camera, Door Lock和门铃在内的需要人脸识别的应用。

除此之外，该公司也提供NPU（Neural processing unit)，预计今年夏天推出第二代产品，该产品也同时支持卷积神经网络CNN和递归神经网络RNN（recurrent neural networks)。

Mythic -

创立于密西根大学的Mythic，目前位于奥斯丁，累计融资超过了8600万美元。

其模拟计算处理器（Analog compute chip），基于Flash transistor内存处理器(processor-in-memory)的方式，对比CPU和GPU可提供功耗，成本和性能优势(cost advantages)。

Processong-in-memory并不是什么新技术，但Mythic宣称解决了相当困难的(tricky)补偿和校正技术(compensation and calibration techniques)，可以消除噪声并支持8-bit的计算。

该公司销售处理器，也可以销售多处理器卡。该公司产品适用于安全摄像头或安全摄像机监视系统。(target market)

Horizon Robotics -

Horizon在2019年融资6亿美金之后，其估值目前已经超过了30亿美金。

Horizon的BPU(Brain processing unit)最初(originally designed)为计算视觉应用设计(computer vision application)。其第二代BPU是64-bit MIMD(Multi-instruction Multi-data)核心，可用于各种类型的神经网络（不仅是卷积神经网络）。

其神经网络可用于预测物体的移动（movement of objects)和现场解析(scene parsing)。第三代处理器将支持决策算法加速(add acceleration for decision making algorithms)，以及其他深度学习以外的人工智能。(other parts of AI outside of deep learning)。

Horizon有两条产品线，适用于自动驾驶的Journey和AIoT的Sunrise。Journey2体统4TOPS, 2W, L3/L4自动驾驶。结合其自有的感知算法(algorithms for perception)，达到超过90%的核心利用率。(achieve 90% core utilization)

AI in the IoT(TinyML)

这个领域主要是运行在资源有限的低功耗环境下(resource constrained environment at ultra-low power)。端侧AI 推理设备在此场景具有非常吸引人的应用场景 - 节省了带宽，降低了延时，保护了隐私，并且节省了射频传输至云端所需的功耗。(RF transmission of data to cloud)。

GreenWaves -

采用多个RISC-V内核，在超低功耗下实现机器学习应用，采用其自有的指令扩展集，在非常低的功耗下完成(facilitate) DSP和AI加速。

其第二代产品GAP9，拥有10个RISC-V核心。其中(of those)，一个作为Fabric controller，另外9个形成计算集群(cluster)。Controller和计算集群，运行于独立的电压和频率域。并进一步支持了最先进的(state-of-the-art) FD-SOL(fully depleted silicon on insulator)处理技术进一步降低了功耗。

GreenWaves’ figures have GAP9 running MobileNet V1 on 160 x 160 images with a channel scaling of 0.25 in just 12ms with a power consumption of 806 μW/frame/second.

Eta Compute -

适用于低功耗IoT，拥有两个核心，Arm Cortext -M3和DSP。其长待机状态下图像处理功耗和传感聚合(sensor fusion)，功耗仅为100微瓦。

先前有过介绍，不做赘述。