云知声黄伟：物联网环境下的AI芯片大挑战

云知声创始人、CEO黄伟

作者 | 黄伟

整理 | 王学琛

2019年11月9日至10日，科技智库「甲子光年」在北京举行2019「甲子引力」大会。其中，在11月9日下午举行的“数字智能”专场上，云知声创始人、CEO黄伟以“底层崛起：边缘计算 AI芯片”为主题展开了分享。

黄伟谈到，算法在过去很多时候理论上很美，但若没有算力支撑的话，很难达到非常好的效果。这也是为何今天人工智能很热的时候，突然发现芯片也很热，因为深度神经网络需要更多的数据和算法，也需要更强的算力。

芯片是一个比较漫长的周期，从研发到流片、设计，周期以年为计，里面任何一个判断失误都会导致比较大的损失。黄伟提到，做芯片更多还是考量在今天这个时代，芯片能够满足用户哪些需求，以此出发点倒推在芯片设计的时候要考虑哪些要素。

演讲要点如下：

1、很多算法理论上很美，但需要算力来支撑。

2、5G普及之后，对边缘计算能力要求越来越高。

3、在物联网环境下做AI芯片面临很多挑战，重要的是考量芯片能满足用户哪些需求。

演讲实录如下：

很多算法理论上很美，但需要算力来支撑

很高兴今天来参加这个活动，我今天的题目是《底层崛起：边缘计算AI芯片》。先介绍一下AI芯片的背景，这个图很多人在很多场合都看到过，人工智能的几次高潮与低谷。我想从我个人的经历介绍下，因为我自己也算是从人工智能整个低谷到渐渐起来这一过程的亲历者。

云知声今天是做声技术的，比如说语音识别、自然语言理解等，其实我硕士论文是做图像，那是在上世纪末，1998、1999年，当时我的导师给我分配的研究课题是来给一些医学图片切片编辑成可交互、旋转、可渲染的3D model。那时候主频只有100兆，做三维的动作困难是很大的。我做完可以出去玩，两三个小时回来那个机器挂了，那个时候很痛苦。当时博士阶段就换了一个方向，做语音识别。

我的博士论文开题也是用神经网络来做语音识别。那个年代很多人会觉得“神经网络”是骗子，我自己也深深以为神经网络是骗子，因为效果很差。如果训练集和测试集环境比较一致的话效果还可以，如果换个集合效果就一塌糊涂。

当时又转了一个方向，因为遇到一个另外问题。当时理论非常完美，但测算了一下，基本跑一个模型需要两周时间。那个数据集有两千人，意味着这个跑一遍要四千多周。算了算不行，博士从开题到毕业只有两年时间，做这个可能毕不了业。所以我就想办法结合统计模型，解决了数据的筛选，把几十万的数据变成几十、几百的数据。

这个例子讲什么呢，就是这种算法在过去很多时候理论上很美，但没有算力来支撑的话，很难达到非常好的效果。其实在某个特定历史时期，计算能力本身就对算法做了设定，甚至对理论了做一个设定。所以这就是为什么今天人工智能很热的时候，突然发现芯片也很热了，我认为这是一个合理的过程。因为深度神经网络需要更多的数据，更多更复杂的算法，当然需要更强的算力。

5G普及之后，对边缘计算能力要求越来越高

过去还听到一种声音说，5G时代我们可以把更多数据都上升到云端，组合到一起去做。这是否能解决问题呢？当然不是。天下之势，分久必合，合久必分，没有互联网之前其实我们都是边缘计算，有了互联网之后我们开始把数据在云端进行处理，所以我们看到有一段时间云计算特别火。到一定阶段之后之后，我们又进入另一时期，就是端云结合，我们既需要云端的集中处理，可能也需要一些边缘侧的分布式处理。这个时代背景下，最近几年我们国内其实涌现了一些非常优秀的AI芯片公司，包括今天到场嘉宾，像地平线、寒武纪还有很多都是在各自领域里努力做一些工作，使得对中国的发展能起到有益的帮助。

讲到AI芯片战略意义，其实讲大道理没用，就以一个例子来讲，比如说我们知道今天的车不再只是一个交通工具，它的能力开始延展，我们也会在汽车里面通过联网获得很多的服务，包括在线导航、在线歌曲，在线实施优化以及自动驾驶，我们还会把不同车的信息在云端进行处理，其实这就意味着车也会成为一个IoT的T之一。

我们是不是可以直接把这个东西就放在里面，直接通过5G来做，现实其实不是这样的。即便今天5G普及了，我们也很难保证在任何的路况、在任何地区5G信号都可以实时、毫秒级处理。

第二个是说我直接把这个算法跑到汽车应用上行不行，答案可能也是不行。举例说，假设你今天买了辆车，你会发现这个车的电脑设计其实很一般，因为这些元力件都是五年前、八年前定型的，它的主频处理器运行并不特别高，假如说在处理速度不是很高的芯片上面，我们又跑了一个非常消耗计算资源的AI的应用，又是什么后果呢？以我们做的语音交互为例，当我开车的时候说一句话，跟汽车通过语音进行交互，就可能会导致这个汽车的主控芯片的CPU被阻塞，从而可能导致非常严重的交通事故。这就需要我们在不动主控芯片的情况下，是否有一个专用芯片来处理人和汽车的之间的对话，它来处理汽车一些娱乐性等等。随着5G随着普及之后，其实我们对边缘计算能力要求越来越高。

物联网AI芯片面临的挑战

在物联网环境下，我们做AI芯片面临很多挑战。过去传统芯片经过初步竞争之后剩下一些巨头，这些巨头充分竞争的结果是每个巨头按照自己的研发计划交出一个产品，下游厂商没有选择权。我们会看到有段时间手机厂商发布会说我们采用了骁龙700、800芯片，用户也不知道骁龙700、800到底是什么，只是觉得它快。在物联网环境下我们做芯片面临的问题，首先就是这个芯片的任务是什么。其次在人工智能时代我们面临很多现实问题，例如在AI设计上怎样才能低功耗，联网之后设备的安全性怎么保证，这都是AI芯片需要解决的问题。

未来是什么在决定着物联网AI芯片的设计，实际上还是那几个问题，首先要面向场景和任务，这个AI芯片一定是端云结合，在设备端要给用户提供多模化处理能力。第二个要构筑一个最矮墙，提升CPU的效率，使得算力非常强，举个例子就好比说回转寿司，一个大哥饭量非常好，吃得非常快，但你转的太慢的话他也吃不饱。

简单总结一下，过去几年我们在芯片方面的一些历程，可能因为很早吃过算力不足以支撑算法的亏，所以很早意识到算力的重要性，除了自己搭建算力平台之外，我们也很早就意识到了芯片研发的重要性，2015年我们开始组建团队做这个事情。

云知声这几年，从研发、流片到量产和发布，今年初我们也发布了自己的第一代产品。去年是语音芯片，今年开始推出我们的多模态芯片。这个有几个特点，一是算力比较强，可以达到4个T；第二是支持多个NPU组网；第三是可重复计算，芯片即使流片之后，后续如果算法升级，这个芯片也可以支持算法去不断进行升级。当然除了语音之外，其实还包括图像，可以在芯片端实现声音、图象、信号等多模态的处理能力。上个月我们刚刚流片一个DSP芯片，比较快的话应该年底会回来。

其实我们可以看到，云知声并不是追求军备竞赛，多少算力，我们更多还是考量在今天这个时代，芯片能够满足用户哪些需求，从这个出发点倒推，我们在芯片设计的时候把哪些要素考虑进来。当然，芯片是一个比较漫长的周期，从研发到流片，到设计，到量产，这个周期是以年为计的，这里面任何一个判断失误都会导致芯片出来时造成比较大的损失。我们为什么要做芯片，就是为了规模量产，但一旦出现失误，就会造成很大的损失。

在落地方面，我觉得在今天的环境下，很多团队面临的不仅仅是技术问题。我们都知道今天可能资本是寒冬，也知道今天的国内环境是科技战的环境，科技是需要烧钱的，但资本没有钱。在这种背景下，创业企业怎么把科创演进规划跟市场比较好的结合在一起，这可能是每一个创业公司需要面临的问题。

大概这些，谢谢大家。

END.