业界 | AIIA DNN benchmark「从芯」测试

机器之心发布

机器之心编辑部

AI 进入爆发期后,芯片对技术进步的影响愈发凸显。深度学习对计算芯片提出了新需求,催生了 AI 加速芯片的问世。当 AI 芯片的功能日益复杂化、多样化,一方面,芯片厂商纷纷给出不同的衡量标准,声称其产品在计算性能、单位能耗算力等方面处于行业领先水平;另一方面,需求方却关心如何能从厂商给出的信息中判断出芯片是否能实际满足其真实场景的计算需求。针对这一现状,一个与真实场景紧密相连的、同时跨产品可比的测试评估方案的出现,迫在眉睫。

如何构建与真实场景紧密相连的、面向不同产品形态、设备级别的 AI 加速器测试评估方案?2018 AIIA 人工智能开发者大会揭晓了答案。会上,《AIIA DNN benchmark——人工智能端侧芯片基准测试评估方案 V0.5 版本》由中国信息通信研究院云大所人工智能部副主任、中国人工智能产业发展联盟(AIIA)总体组组长孙明俊代表中国人工智能产业发展联盟发布。

中国信息通信研究院云大所人工智能部副主任、中国人工智能产业发展联盟总体组组长 孙明俊

AIIA DNN benchmark 的工作目标为客观反映当前以提升深度学习处理能力的 AI 加速器现状,所有指标均旨在提供客观比对维度。AIIA 希望,该方案能够为芯片企业提供第三方评测结果,帮助产品市场宣传;同时为应用企业提供选型参考,帮助产品找到合适其应用场景的芯片。V0.5 版本首先给出了端侧评估方案。

根据孙明俊介绍,AI 基准测试方案的制定面临诸多挑战。即便抛开优化程度、硬件架构等若干问题不谈,延迟、带宽、能耗都要纳入考虑范围。同时,各种神经网络模型都有不同参数,不同设备在不同参数下有不同的输出曲线。如何让指标在不同级别的设备中横向可比?而云端和终端的应用是否需要不同的基准测试?如何为不同测试项目分配权重,以获得一个相对公正客观、有代表性的评分?这些都是应用领域的差异性和实现选择的多样性导致的测评难题。

针对以上特点,AIIA 联合 Arm 中国、阿里巴巴集团、百度、寒武纪科技、ChipIntelli、地平线、华为、华大半导体、Imagination、Synopsys,腾讯、云之声等 12 家企业,推出了 AIIA DNN benchmark——人工智能端侧芯片基准测试评估方案。

AIIA DNN benchmark 将以「版本迭代、不断丰富、不断完善」的工作方式,为更多评测应用场景、评测指标等提供评估方案,最新公布的 v0.5 版本提供了「通用芯片 AI 能力评估」和「定制化芯片的 AI 能力评估」2 种方案评测方案。方案覆盖了时间、性能评价指标以及功耗 3 类测评指标和图片分类、目标检测、语音识别、超分辨率 4 大应用场景。其中通用芯片的 AI 能力评估限定在指定场景、数据集、网络模型、框架下,而定制化芯片的 AI 能力评估将更加关注 AI 芯片对于特殊场景的优化能力,如安防、自动驾驶、智能音箱等。针对每一个具体变量,方案都提供了 check list 选项,供被测方选择。

目前 AIIA DNN benchmark 芯片基准测试评估方案是初级版本,预计会在 10 月底到 11 月初面向企业征集首轮评估对象及方案,首轮测试对象主要为端侧设备。AIIA DNN benchmark 将会从场景、指标、部署位置等角度不断做版本更新,诚邀企业参与。

可以预见,AIIA DNN benchmark 的发布,能够促进芯片供给侧与需求侧的交流,让需求方的意见能够更快传达到芯片企业,让企业进行有针对性的改良,加快行业迭代速度,推动 AI 产业的快速进步。

原文发布于微信公众号 - 机器之心(almosthuman2014)

原文发表时间:2018-10-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习原理

2018苏州GTC会议笔记主题演讲可解释性、鲁棒性和公平性:THUIR 个性化推荐研究进展 [CH81402]机器学习的发展和行业应用前景 [CH8502]用 TensorFlow 加速 AI [CH

NVIDIA 创始人兼 CEO 黄仁勋先生关于计算领域之未来的主题演讲。 演讲人:黄仁勋 NVIDIA 创始人兼 CEO 2018/11/21 周三 1...

1584
来自专栏ATYUN订阅号

非语言交流的新领域:将机器人的情绪映射为触觉表达

我们认为人类非常聪明,因为人类拥有多种不同的沟通方式。我们发声,我们有富有表现力的面孔,我们可以做手势。我们似乎有很多交流方式,但我们错过了一些对动物来说很常见...

1082
来自专栏腾讯音视频实验室

现场报道 | SIGGRAPH Asia 2017 (DAY 2):黑科技产品百花齐放

今天是SIGGRAPH ASIA 2017的第二天,与昨天稍显冷清的会场相比,今天可谓是百花齐放,热闹非凡,这主要是因为有两大重头戏上演,即各式各样的展台(Ex...

37410
来自专栏人工智能头条

人工智能与认知科学论坛:类脑智能、混合智能及应用前景的探讨

2166
来自专栏Python数据科学

“半路出家”的Kaggle大师:如何正确打开数据科学竞赛?

凭借这一成绩,Vladimir也荣获了Kaggle的最高荣誉——竞赛超级大师(Competitions Grandmaster)。Kaggle至今已成立8年,注...

1021
来自专栏区块链入门

重磅推荐:AI芯片产业生态梳理

AI芯片作为产业核心,也是技术要求和附加值最高的环节,在AI产业链中的产业价值和战略地位远远大于应用层创新。腾讯发布的《中美两国人工智能产业发展全面解读》报告显...

1764
来自专栏数据派THU

【干货】郭朝晖:工业大数据的特征、方法与价值创造

本文长度为11700字,建议阅读25分钟 本讲座选自宝钢中央研究院首席研究员郭朝晖于2015年12月30日在清华大数据“技术·前沿”讲座上所做的题为《工业大数据...

2208
来自专栏Fred Liang

OKR: Objectives and Key Results(目标和关键成果)

2122
来自专栏数据科学与人工智能

【数据科学】数据科学家的7种统计学使用场景

原文请见:How do data scientists use statistics? http://datastories.quora.com/How-do-...

2108
来自专栏CSDN技术头条

科研算法的敏捷应用

我记得几个月前看到Deep Dream研究员们(Leon A. Gatys, Alexander S. Ecker and Matthias Bethge)发布...

21710

扫码关注云+社区

领取腾讯云代金券