耐能新款低功耗AI晶片KL520能支援多种CNN模型，今年第四季出货抢攻边缘运算市场

导读

耐能新推出的AI晶片，结合了可重组式AI神经网路技术与模型压缩技术，来支援多种机器学习框架与CNN模型。

耐能（Kneron）日前推出一款AI晶片「KL520」，结合了自家研发的可重组式AI神经网路技术（Reconfigurable Artificial Neural Network，RANN）与模型压缩技术，并搭载同为自家设计的神经网路处理器（NPU），来支援多种机器学习框架与CNN模型，目前已落地应用于手机、IoT、家居、安防等场景，预计在今年Q4放量出货。

KL520晶片体积约40nm，算力达350TOPS，平均功耗降至300-500mW；算力效能的部分，在运行Tiny Yolo V2模型时，每TOPS算力可处理的图片帧数可达49 FPS/TOPS，运行MobileNet V2时也能达到152 FPS/TOPS，低功耗、高效能为其特色。

耐能研发出可重组式AI神经网路技术，可以根据不同CNN模型的运算结构进行重组，来减少运算复杂度、提高效能。耐能董事长刘峻诚形容，这个技术就像是把神经网路的共同小模块打散，变成很多小的乐高晶片，再依照不同的深度学习模型，透过编译器自动编译来组成需要的神经网路，这个技术也曾登上电路及系统领域的顶尖期刊TCAS。此外，KL520也能透过资料（data）排程，来减少记忆体资料搬运（movement）的电力消耗。

运用可重组式AI神经网路技术后，KL520可以支援主流框架和第三方算法，包括ONNX、Tensorflow、Keras、Caffe，以及支援运用上述框架所开发的CNN模型，如Resnet、Vgg16、GoogleNet、Yolo、Lenet、MobileNet、DenseNet等，刘峻诚表示，举凡被业界与学界大量采用的CNN模型，耐能几乎都可以支援，也能客制化支援少见的模型。

除了可重组式AI神经网路技术，KL520还有另一个特色是模型压缩技术，透过迁移式学习（Transfer Learning）、量化（Quantization）、剪枝（Pruning）、 蒸馏（Distillation）等四种方式，在模型精度的损失小于0.5%的情况下，将模型中较不影响表现的小网路拿掉，来有效将模型压缩变小，进而降低在终端部署的储存成本与记忆体频宽的需求。

刘峻诚说明，模型越大，功耗、成本、算力都会提高，因此必须提高晶片运算效能。传统上要提高效能的方式，无非增加MAC数（乘积累加运算，Multiply Accumulate, MAC，执行运算的硬体电路单元被称为「乘数累加器」），并将制程工艺提升（晶片从8nm变成7nm），但前者不断累加MAC数会增加晶片功耗跟面积乘比，后者的提升则会增加成本，让晶片变大变贵，不利于新创公司的市场竞争。

因此，耐能也自行研发了NPU，目的要提高MAC利用率，尽量让每个MAC不闲置。刘峻诚表示，耐能可用更小的面积、更低的生产成本来提供更好的运算效能。

要让AI晶片落地，还需要与各类软硬体、系统供应商合作

不过，刘峻诚坦言，要让KL520落地应用，还需要串联起生态系的合作伙伴。

由于耐能不只生产AI晶片，也自主研发3D人脸辨识技术，因此需要结合提供各类影像感测技术的厂商来让产品落地。例如人脸辨识结合结构光，可以应用近距离、高精准度的手机屏幕解锁功能；若结合双目视觉感测技术可以侦测较远的距离，适用于智能零售，纪录顾客人数、位置、停留时间等；或者结合侦测距离介于两者之间的ToF，可应用于手机后设的自动对焦功能。耐能也已经与奇景光电合作，将人脸辨识技术结合SLiM 3D感测解决方案，实际应用于智慧安防等场景。

此外，深度学习模型等软体的合作伙伴也很重要，许多客制化适用于不同场景的影像辨识技术，还是需要不同的伙伴来做。例如，老人家是否跌倒晕倒、冰箱的食物有没有过期、小女孩靠近火炉便自动断电、烤箱自动辨识烧焦部位、或是空调在人多时降温且不会对着老人吹等。由此可知，系统供应厂商也不可或缺，因为单独一颗晶片可以做的只有辨识，但要加上系统，如扫地机、冰箱、冷气、电视机等，才能贴近民众生活。

目前耐能主要投入在智慧手机、智慧家居、智慧安防的边缘运算领域。刘峻诚表示，未来的愿景是要赋予终端装置有判断能力的AI引擎、建立Edge AI Net，并以去中心化、多模输入、离线本地处理、算力共享、主动智慧等五大核心，串起边缘运算的网络。