重大进展!Paddle Fluid 加速float16卷积神经网络预测!

所有PaddlePaddle的应用者们:

我们很高兴的宣布,

PaddlePaddle Fluid可以支持在卷积神经网络上进行float16模式的低精度预测了!

同时在NVIDIA最新的支持Tensor core的GPU提供的float16加速运算支持下,float16模式的预测在不损失准确率的情况下,实现了很大的加速效果(跟float32比较)!

为什么可以非常开心的庆祝起来?

这就需要从float讲起。通常的深度学习预测(inference)的参数,输入输出,和运算都是用的4个字节的float(也叫float32)浮点数表示。Float指的是浮点数,由IEEE指定规则,这种结构是一种科学计数法,用符号、指数和尾数来表示,底数定位2。float包括1个符号位、8个指数位和23个尾数位。

如果改成用2个字节的float16浮点数来表示,可以节约内存占用,耗电量,和运算时间。PaddlePaddleFluid 完成了在卷积神经网络(CNN)上进行float16inference的支持。跟float32模式的预测比较,在准确率一致的前提下,float16模式的预测在GPU上更快,更省电,更节省内存占用。 这就好比在吃食物时,同样热量的棉花糖和软糖,显然后者的食用速度是快于前者的,这样也可以尽快消化。

加速效果到底是怎样的呢?

PaddlePaddle在支持float16加速运算(NVIDIA的Tensor Core技术) 的NVIDIA最新GPU(V100)上测试了Fluid float16 预测(inference)的效果,可以总结为两点:

(1)float16inference的准确率: 和float32inference的准确率非常一致。

(2)float16inference的加速效果(跟float32模式下平均一个batch的预测时间做比较):在Vgg16上随着batch size的不同有2~4倍的加速效果,在Resnet50上有1.15~2倍的加速效果。

这也就是说,今后再使用PaddlePaddle Fluid时,参数处理速度被大大提升,能够留出更多时间可以用于后续的模型搭建和训练环节,这就像高铁提速能够让大家更快到达目的地,此次改变能让开发者们快捷操作,把更多的Idea更好更快速的实现!

当然,这一突破的背后,除了感谢夜以继日付出努力的开发工程师们,更是要感谢PaddlePaddle使用者们。PaddlePaddle Fluid仍在不断成长,希望今后能够带给大家更多惊喜,也欢迎各位开发者们及时提出问题与建议!感谢每位使用PaddlePaddle的开发者们的信任!

你们的PaddlePaddle

2018年5月17日

原文发布于微信公众号 - PaddlePaddle(PaddleOpenSource)

原文发表时间:2018-05-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序人生 阅读快乐

[C数值算法]

本书编写了300多个实用而有效的数值算法C语言程序。其内容包括:线性方程组的求解,逆矩阵和行列式计算,多项式和有理函数的内插与外推,函数的积分和估值,特殊函数的...

602
来自专栏牛客网

算法工程师:非科班机器学习工程师养成计划虐心面试实录一点人生经验

这是一篇不太专业的算法工程师面经,希望能给非科班想要从事机器学习工作的同学或学弟学妹一些建议,同时也回馈给予我很大帮助的牛客网。目前拿到的offer有:网易、三...

1K6
来自专栏新智元

【吐血整理】台湾大学李宏毅深度强化学习笔记(49PPT)

【新智元导读】来自台湾超受欢迎的李宏毅老师深层强化学习49页PPT以及笔记,熬夜整理,值得收藏。本文授权转载自Medium,作者Ivan Lee。

3563
来自专栏CDA数据分析师

测试:你是否具备企业的数据挖掘能力?

1.某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖掘的哪类问题? A. 关联规则发现 B. 聚类 C. 分类 D. 自然语言处理 ...

2396
来自专栏人工智能LeadAI

命名实体识别 | NLP系列学习

在自然语言处理中,分词,词性标注,命名实体识别和句法情感分析是非常关键的分支,因为最近需要对此有一些应用,便去了解了一下特定领域目前使用的方法以及一些困难,特此...

2800
来自专栏机器之心

谷歌微软等科技巨头数据科学面试107道真题:你能答出多少?

选自Learndatasci 机器之心编译 参与:李泽南 来自 Glassdoor 的最新数据可以告诉我们各大科技公司最近在招聘面试时最喜欢向候选人提什么问题。...

2887
来自专栏数据小魔方

条形图组(辅助序列法)

今天跟大家分享的图表是条形图组(辅助序列法)! ▽▼▽ 这个图表曾在之前的条件格式条形组图中介绍过。不过使用的工具不同,之前那个使用条件格式做成的,今天教大家使...

3749
来自专栏AI科技大本营的专栏

《机器学习系统设计》助你从新手迅速成长为大咖

本文引自图灵教育《机器学习系统设计》的第一章——Python机器学习入门。 如果你只想学习基础理论,那么这本书或许并不适合你。它并没有深入机器学习背后的数学细...

4254
来自专栏数据结构与算法

模拟退火算法

1730
来自专栏专知

面经分享:算法,深度学习等岗位面试指南

【导读】今天专知小编,给各位近期有意找工作,找实习的同学们分享一大包面经和面试题,即使不找工作的同学们,也可以看看题目判断自身定位查漏补缺。

3207

扫码关注云+社区

领取腾讯云代金券