OpenAI发布可加速GPU机器学习的核心工具库

OpenAI研究人员日前发布了一个工具库,该工具库可以帮助研究人员在图形处理器(graphics-processor-unit,GPU)上建立更快、更高效、占内存更少的神经网络。

OpenAI研究人员日前发布了一个工具库,可以帮助研究人员在图形处理器上建立更快、更高效、占内存更少的神经网络。神经网络由多层相连的节点构成。这类网络的架构根据数据和应用变化很多,但是所有模型都受到它们在图形处理器上运行方式的限制。

以更少的计算能力训练更大模型的一种办法是引入稀疏矩阵。如果一个矩阵里面有很多零,那就视为稀疏矩阵。阵列中的空元素可以在矩阵乘法中压缩和跳过,就在图形处理器中占用的内存更少。进行运算的计算成本与矩阵中非零条目的数量成比例,有了稀疏矩阵就意味着节省了多的计算能力用于构建更广或更深的网络,能训练更高效,进行推断的速度可提高十倍。

研究人员指出,英伟达并不支持块稀疏模型。所以,OpenAI的团队决定开发核——将软件汇集在硬件上运行的微程序,优化用于为更大的研究圈构建块稀疏网络。

伊隆·马斯克(Elon Musk)的人工智能研究部门的研究人员内部使用这种程序训练长的短时记忆网络,对亚马逊网(Amazon)和互联网电影资料库(IMDB)的评论文本进行情感分析。

“我们的稀疏模型将互联网电影资料库数据集文本水平的艺术状态误差从5.91%降低到5.01%。从我们以往的结果来看,这个提高很有前景,因为之前最好的结果也只是在更短句子水平的数据集运算。”OpenAI在博文中表示。

核心程序在英伟达的统一计算设备架构(CUDA)运算平台编写,OpenAI最近只开发了TensorFlow的服务运行,所以在不同框架下工作的研究人员要编写自己的服务运行,它也只支持英伟达图形处理器。OpenAI的技术人员表示:这确实可以扩展到支持小型块矩阵乘法的其他架构,包含了我知道的大多数架构,但是谷歌的TPU2不在其中。虽然结果很有前景,“但是由于这些核程序仍然很新,我们还没有确定它们能在何时何处帮助“神经网络架构”。实验中,我们提供了一些情景,它能帮助向模型增加稀疏。我们鼓励研究圈帮助进一步探索这个领域。”该研究人员表示。

英伟达知道了这项工作,正在等着代码发布,以便为其提供更广的支持,这名技术人员补充说。OpenAI的工作与麻省理工学院研究人员开发的软件Taco相似,后者产生了自动处理稀疏矩阵所需的代码。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2018-01-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【EMNLP2018】FAIR动态元嵌入:动态选择词嵌入模型

【导读】词嵌入已经彻底改变了自然语言处理(NLP)的世界。从概念上讲,词嵌入是一种语言建模方法,它将句子中的短语或单词映射到向量和数字。任何NLP应用程序的第一...

1581
来自专栏谭学仕的专栏

【SPA大赛】菜鸟在数据挖掘中的体验

本文从四个方面分享了参加腾讯社交广告比赛的一些想法以及从中吸取的经验和教训。

4730
来自专栏华章科技

科普:大数据、人工智能、机器学习与深度学习都是什么?有什么关系?

导读:大数据、人工智能是目前大家谈论比较多的话题,它们的应用也越来越广泛、与我们的生活关系也越来越密切,影响也越来越深远,其中很多已进入寻常百姓家,如无人机、网...

2631
来自专栏数据派THU

独家 | 一文读懂推荐系统知识体系-上(概念、结构、算法)

? 本文主要阐述: 推荐系统的3个W 推荐系统的结构 推荐引擎算法 浏览后四章的内容请见下篇。 1. 推荐系统的3个W 1.1 是什么(What is it?...

1.1K7
来自专栏智能算法

2017年关于深度学习的十大预测

Carlos E. Perez对深度学习的2017年十大预测,让我们不妨看一看。有兴趣的话,可以在一年之后回顾这篇文章,看看这十大预测有多少准确命中:) ? 1...

4206
来自专栏PaddlePaddle

【EasyDL应用】图像识别解决海量家居图分类难题

EasyDL作为一款图像和声音的定制训练和服务平台,只要根据页面文字提示进行简单的拖拽操作,最快10分钟即可训练出定制化的深度学习模型。

3563
来自专栏新智元

【让神经网络能够“通感”】MIT 和谷歌研究连接文字、声音和视频

【新智元导读】如何让神经网络学会完成一项任务后,不忘记已有的知识,再次学会另一项任务?日前,来自 MIT 和谷歌研究人员分别朝着这一目标做出了努力。MIT 的研...

4149
来自专栏新智元

CVPR-17:谷歌大规模视频理解 Kaggle 挑战赛,首次加入音频特征

【新智元导读】谷歌昨天发布消息,更新了此前开源的含上万个视频的大规模数据集 Youtube-8M,新的数据集除了标签升级,还首次包含了预计算的音频特征(pre-...

3587
来自专栏BestSDK

超大规模3D数据集ScanNet:让机器人,也可以拥有人类的感情

Angela Dai 是斯坦福大学的一名博士生,在 CVPR 上有一个 Spotlight talk,主要介绍 ScanNet,一个拥有标注过 3D 室内场景...

3848
来自专栏量子位

谷歌教机器人理解语义,像人一样学习复杂技能 | 附3篇论文

李林 编译自 Google Research Blog 量子位 出品 | 公众号 QbitAI 机器人可以通过机器学习获得复杂的技能,如抓取物体、开门等。 然而...

3519

扫码关注云+社区

领取腾讯云代金券