这场干货满满的技术工作坊，让开发者真正走近NPU时代的边缘智能

近十年来，深度学习领域的理论突破让人工智能迎来了新一轮的发展高潮， 开始在各行各业落地。与此同时，在移动终端和物联网设备的广泛应用场景中，如何将人工智能融入边缘计算，部署在边缘设备，更好更快地提供智能服务也成为了热点话题。边缘智能的概念因此应运而生。

OPENAI LAB（开放智能）于2016年成立，旨在为AIoT产业上下游合作伙伴提供边缘AI算力的开放平台及应用操作系统。以开放的AIoT操作系统平台Tengine为核心，致力于推动芯片、硬件、算法、软件整个产业链的深度合作，加速人工智能产业化应用部署和应用场景边界拓展，助力AIoT全行业的快速赋能及应用落地，让更多企业进入AI行业，最终实现万物智能。

在12月26日的技术工作坊中，来自OPEN AI LAB的技术专家围绕Tengine介绍了边缘智能方向的相关内容。

OPEN AI LAB高级软件开发工程师李琦首先对「Tengine框架的模型推理」进行了介绍。当前，AI技术及应用场景无处不在，包括门禁、考勤，坐火车、坐飞机时的人脸识别。每个简单的应用都需要有一个开发链条，这些开发工作是非常碎片化的，比如要懂三个方面以上的系统知识，也要懂框架方面的知识和底层部署硬件的知识，为企业开发带来了很大的人力损耗和技术挑战。与此同时，受到云端网络、带宽等成本的限制，边缘设备也受到了更多的关注。训练好的模型如何在平台上部署？性能和精度如何，能否满足要求？嵌入式平台系统很复杂，此类场景如何处理？

基于种种痛点，OPENAI LAB成立了Tengine自主知识产权的边缘AI推理框架，就是Tengine产品。

值得注意的是，Tengine已经在GitHub开源。一方面Tengine可以通过异构计算技术同时调用CPU、GPU、DSP、NPU 等不同计算单元来完成AI网络计算；另一方面，它支持TensorFlow、Caffe、MXNet 、PyTorch、 MegEngine、 DarkNet、ONNX、 ncnn 等业内主流框架，是国际上为数不多的通过ONNX官方认证的战略合作伙伴之一。

OPEN AI LAB系统应用技术负责人蒋黎鹏的分享主题是「基于Tengine的边缘开发理论实践」。人工智能发展到现阶段，大家不再一味关注算法的性能调优，而行业落地、产业赋能越来越受到重视，也就是所谓的「+AI」或「AI+」。结合现在的应用开发现状，蒋黎鹏提到目前应用开发边缘端存在的四个问题：

1、芯片异构化的条件下如何有效利用算力。

2、开发生态的碎片化，产品如何快速选型、适配和迁移。

3、算法、芯片级硬件和应用的强耦合，分工协同难度很大。

4、如何进一步降低算法端计算的成本，提高产品在市场上的竞争力。

随后，蒋黎鹏介绍了三种端侧的常见模型加速手段：权值量化、网络剪枝和知识蒸馏。此外，他也提到了新兴的联邦学习，这种方法能够解决边缘端的一些隐私问题。

OPENAI LAB在Tengine的基础上，打造了边缘人工智能开发平台EAIDK。这是全球首个采用Arm架构的人工智能开发平台，面向边缘计算的人工智能开发套件。其中，硬件平台具备语音、视觉等传感器数据采集能力及适用于多场景的运动控制接口；智能软件平台支持视觉处理与分析、语音识别、语义分析、SLAM等应用的基础平台和主流开源算法，满足端侧AI教育、算法应用开发、产品原型开发验证等需求。帮助人工智能真正落地的同时，EAIDK也助力了AI开发门槛的降低。