OpenAI发布可加速GPU机器学习的核心工具库

OpenAI研究人员日前发布了一个工具库,该工具库可以帮助研究人员在图形处理器(graphics-processor-unit,GPU)上建立更快、更高效、占内存更少的神经网络。

OpenAI研究人员日前发布了一个工具库,可以帮助研究人员在图形处理器上建立更快、更高效、占内存更少的神经网络。神经网络由多层相连的节点构成。这类网络的架构根据数据和应用变化很多,但是所有模型都受到它们在图形处理器上运行方式的限制。

以更少的计算能力训练更大模型的一种办法是引入稀疏矩阵。如果一个矩阵里面有很多零,那就视为稀疏矩阵。阵列中的空元素可以在矩阵乘法中压缩和跳过,就在图形处理器中占用的内存更少。进行运算的计算成本与矩阵中非零条目的数量成比例,有了稀疏矩阵就意味着节省了多的计算能力用于构建更广或更深的网络,能训练更高效,进行推断的速度可提高十倍。

研究人员指出,英伟达并不支持块稀疏模型。所以,OpenAI的团队决定开发核——将软件汇集在硬件上运行的微程序,优化用于为更大的研究圈构建块稀疏网络。

伊隆·马斯克(Elon Musk)的人工智能研究部门的研究人员内部使用这种程序训练长的短时记忆网络,对亚马逊网(Amazon)和互联网电影资料库(IMDB)的评论文本进行情感分析。

“我们的稀疏模型将互联网电影资料库数据集文本水平的艺术状态误差从5.91%降低到5.01%。从我们以往的结果来看,这个提高很有前景,因为之前最好的结果也只是在更短句子水平的数据集运算。”OpenAI在博文中表示。

核心程序在英伟达的统一计算设备架构(CUDA)运算平台编写,OpenAI最近只开发了TensorFlow的服务运行,所以在不同框架下工作的研究人员要编写自己的服务运行,它也只支持英伟达图形处理器。OpenAI的技术人员表示:这确实可以扩展到支持小型块矩阵乘法的其他架构,包含了我知道的大多数架构,但是谷歌的TPU2不在其中。虽然结果很有前景,“但是由于这些核程序仍然很新,我们还没有确定它们能在何时何处帮助“神经网络架构”。实验中,我们提供了一些情景,它能帮助向模型增加稀疏。我们鼓励研究圈帮助进一步探索这个领域。”该研究人员表示。

英伟达知道了这项工作,正在等着代码发布,以便为其提供更广的支持,这名技术人员补充说。OpenAI的工作与麻省理工学院研究人员开发的软件Taco相似,后者产生了自动处理稀疏矩阵所需的代码。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2018-01-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【CNN超越RNN】DeepL机器翻译碾压谷歌、Facebook和微软

【新智元导读】一家名叫DeepL的公司声称他们的翻译工具已经超过谷歌、微软、Facebook等大公司的翻译工具,本文提供了作者亲测的评价。 谷歌、微软、Face...

3225
来自专栏携程技术中心

干货 | 模型优化不得不思考的几个问题

作者简介 胡淏,美团算法工程师,毕业于哥伦比亚大学。先后在携程、支付宝、美团从事算法开发工作。了解风控、基因、旅游、即时物流相关问题的行业领先算法方案与流程。 ...

2699
来自专栏机器之心

业界 | CMU和谷歌联手研制左右互搏的对抗性机器人

选自IEEE Spectrum 机器之心编译 作者:Evan Ackerman 参与:蒋思源、Smith CMU 和谷歌研究者正在使用基于博弈论和深度学习的对...

32610
来自专栏机器学习算法与Python学习

今日头条推荐算法详解(PDF下载)

源 | AI研习社 编辑 | 昱良 内容较长 点击阅读原文即可下载 ? 今日头条资深算法架构师曹欢欢: ? 本次分享将主要介绍今日头条推荐系统概览以及内容分析、...

1.1K9
来自专栏DT数据侠

海量游戏、影视究竟哪部才是你的菜?交给这个推荐系统帮你选

在我们生活的这个时代,每周都有大量的新游戏、电影和剧集问世,追剧、追游戏并不容易,往往需要花费好几个小时浏览各种博客、媒体上的评价才能决定一部作品是否是你的菜。...

770
来自专栏机器学习算法全栈工程师

就怕你迷路!力荐!论文资源获取和AI论文阅读指导

本文译自:https://towardsdatascience.com/getting-started-with-reading-deep-learning-r...

973
来自专栏CDA数据分析师

Kaggle大神经验分享丨如何用15个月冲到排行榜的首位

在最新的Kaggle用户排行榜上,排名第一位的ID是Bestfitting,他本人叫Shubin Dai。Shubin Dai在两年前加入Kaggle,目前生活...

803
来自专栏灯塔大数据

塔说 | 比特币的价格今年会达到10万美元吗?有人用蒙特卡罗方法预测了一下

前言 科技博客作者 Xoel López Barata 正尝试着用简单的蒙特卡罗模拟方法,来预测比特币的每日收益,并试图预测至今年年底,比特币的价格最可能达到多...

3385
来自专栏量子位

马库斯:DeepMind新出的机器心智网络不错,但有误导性

原作 Gary Marcus Root 编译 量子位 报道 | 公众号 QbitAI DeepMind最新出的论文Machine Theory of Mind还...

3546
来自专栏CSDN技术头条

入行 AI,如何选个脚踏实地的岗位?

AI原本是一个专业领域,没什么特别的。作为码农一枚,笔者的工作内容正好在这个领域。

883

扫描关注云+社区