OpenAI发布可加速GPU机器学习的核心工具库

OpenAI研究人员日前发布了一个工具库,该工具库可以帮助研究人员在图形处理器(graphics-processor-unit,GPU)上建立更快、更高效、占内存更少的神经网络。

OpenAI研究人员日前发布了一个工具库,可以帮助研究人员在图形处理器上建立更快、更高效、占内存更少的神经网络。神经网络由多层相连的节点构成。这类网络的架构根据数据和应用变化很多,但是所有模型都受到它们在图形处理器上运行方式的限制。

以更少的计算能力训练更大模型的一种办法是引入稀疏矩阵。如果一个矩阵里面有很多零,那就视为稀疏矩阵。阵列中的空元素可以在矩阵乘法中压缩和跳过,就在图形处理器中占用的内存更少。进行运算的计算成本与矩阵中非零条目的数量成比例,有了稀疏矩阵就意味着节省了多的计算能力用于构建更广或更深的网络,能训练更高效,进行推断的速度可提高十倍。

研究人员指出,英伟达并不支持块稀疏模型。所以,OpenAI的团队决定开发核——将软件汇集在硬件上运行的微程序,优化用于为更大的研究圈构建块稀疏网络。

伊隆·马斯克(Elon Musk)的人工智能研究部门的研究人员内部使用这种程序训练长的短时记忆网络,对亚马逊网(Amazon)和互联网电影资料库(IMDB)的评论文本进行情感分析。

“我们的稀疏模型将互联网电影资料库数据集文本水平的艺术状态误差从5.91%降低到5.01%。从我们以往的结果来看,这个提高很有前景,因为之前最好的结果也只是在更短句子水平的数据集运算。”OpenAI在博文中表示。

核心程序在英伟达的统一计算设备架构(CUDA)运算平台编写,OpenAI最近只开发了TensorFlow的服务运行,所以在不同框架下工作的研究人员要编写自己的服务运行,它也只支持英伟达图形处理器。OpenAI的技术人员表示:这确实可以扩展到支持小型块矩阵乘法的其他架构,包含了我知道的大多数架构,但是谷歌的TPU2不在其中。虽然结果很有前景,“但是由于这些核程序仍然很新,我们还没有确定它们能在何时何处帮助“神经网络架构”。实验中,我们提供了一些情景,它能帮助向模型增加稀疏。我们鼓励研究圈帮助进一步探索这个领域。”该研究人员表示。

英伟达知道了这项工作,正在等着代码发布,以便为其提供更广的支持,这名技术人员补充说。OpenAI的工作与麻省理工学院研究人员开发的软件Taco相似,后者产生了自动处理稀疏矩阵所需的代码。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2018-01-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏量子位

深度学习入门该用PyTorch还是Keras?热门公开课换框架背后的学问

李林 问耕 编译整理 量子位 出品 | 公众号 QbitAI ? 你知道fast.ai么? 他们以提供零基础的深度学习课程而闻名,宣称:只要你有高中数学基础、一...

3485
来自专栏专知

【EMNLP2018】FAIR动态元嵌入:动态选择词嵌入模型

【导读】词嵌入已经彻底改变了自然语言处理(NLP)的世界。从概念上讲,词嵌入是一种语言建模方法,它将句子中的短语或单词映射到向量和数字。任何NLP应用程序的第一...

831
来自专栏数据派THU

独家 | 一文读懂推荐系统知识体系-上(概念、结构、算法)

? 本文主要阐述: 推荐系统的3个W 推荐系统的结构 推荐引擎算法 浏览后四章的内容请见下篇。 1. 推荐系统的3个W 1.1 是什么(What is it?...

6727
来自专栏新智元

CVPR-17:谷歌大规模视频理解 Kaggle 挑战赛,首次加入音频特征

【新智元导读】谷歌昨天发布消息,更新了此前开源的含上万个视频的大规模数据集 Youtube-8M,新的数据集除了标签升级,还首次包含了预计算的音频特征(pre-...

3327
来自专栏CDA数据分析师

关于 AI 丨不知道这些概念你就落伍了

? 作者 Adam Temper 编译 Mika 本文为 CDA 数据分析师原创作品,转载需授权 对所有事情都有一定了比拥有一项专业技能更实用。对于进入新...

4208
来自专栏BestSDK

超大规模3D数据集ScanNet:让机器人,也可以拥有人类的感情

Angela Dai 是斯坦福大学的一名博士生,在 CVPR 上有一个 Spotlight talk,主要介绍 ScanNet,一个拥有标注过 3D 室内场景...

3268
来自专栏PaddlePaddle

【EasyDL应用】图像识别解决海量家居图分类难题

EasyDL作为一款图像和声音的定制训练和服务平台,只要根据页面文字提示进行简单的拖拽操作,最快10分钟即可训练出定制化的深度学习模型。

1863
来自专栏专知

DeepMind新作生成查询网络GQN:无监督渲染3D场景

理解视觉场景时,我们依赖的不仅仅是眼睛:我们的大脑利用已有知识来推理,并做出远远超过视线所及的推论。例如,当第一次进入一个房间时,你会立即认出里面的物品以及它们...

1162
来自专栏智能算法

2017年关于深度学习的十大预测

Carlos E. Perez对深度学习的2017年十大预测,让我们不妨看一看。有兴趣的话,可以在一年之后回顾这篇文章,看看这十大预测有多少准确命中:) ? 1...

4056
来自专栏谭学仕的专栏

【SPA大赛】菜鸟在数据挖掘中的体验

本文从四个方面分享了参加腾讯社交广告比赛的一些想法以及从中吸取的经验和教训。

3850

扫码关注云+社区