富士通新技术大幅减少深度学习对内存的需求

《IEEE科技纵览》发表文章称,富士通开发的新技术可以大幅减少深度学习算法对内存的需求。

日本富士通开公司发了一种基于深度学习神经网络算法的并行计算加速方法,该方法能够扩大适用于单颗芯片的神经网络规模。富士通实验室下一代计算机系统项目组的Yasumoto Tomita表示:通过一条有效的捷径,该方法能够将神经网络计算所需内部图形处理器(GPU)的内存需求量减少40%。

Tomita表示:富士通公司根据从加权数据计算中间误差数据与从中间数据产生加权误差数据的过程,来判断如何重复利用GPU的特定内存区域。这一过程是独立且同时进行的。他估计,减少40%的内存使用量可以允许在一个GPU上运行更大的具有“大约两倍层数或神经元”的神经网络。Tomita指出,在训练过程中,当运行于多个GPU的神经网络需要共享数据时,可能出现一些性能瓶颈,而这种方法可以减少出现这种瓶颈的机会。

此外,富士通正在开发能够加快多个GPU之间数据交换的软件,该软件可能会与能够提升存储效率的技术相结合,以提升该公司的深度学习能力。Tomita表示:将存储效率技术与GPU并行化技术相结合,可以使得大型神经网络的快速学习成为可能,且无需模型的并行化。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-11-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

DeepMind 推出分布式训练框架 IMPALA,开启智能体训练新时代

AI 研习社按,日前,DeepMind 推出一种全新的分布式智能体训练框架 IMPALA,该框架具有高度可扩展性,将学习和执行过程分开,使用了一种名为 V-tr...

2866
来自专栏目标检测和深度学习

业界 | 如何评估深度学习的性能?英伟达提出7大挑战

1264
来自专栏新智元

国家“千人”王中风教授:如何满足不同应用场景下深度神经网络模型算力和能效需求

作者:王中风 【新智元导读】 基于神经网络的深度学习算法已经在计算机视觉、自然语言处理等领域大放异彩。但是,诸如 VGG、ResNet 和 Xception 等...

4186
来自专栏人工智能头条

算法、应用与计算平台,讯飞百度阿里360的深度学习经

1674
来自专栏机器之心

业界 | 如何评估深度学习的性能?英伟达提出7大挑战

1555
来自专栏PPV课数据科学社区

英伟达深度学习专家路川详解“如何升级GPU深度学习系统”

GPU 成为在构建深度学习系统时必不可少的需要关注的方向,但是诸如如何选择一款 GPU 来搭建深度学习平台,如何升级自己的 GPU 之类的问题一直困扰着开发者。...

3826
来自专栏新智元

超越传统CPU?英特尔新一代AI芯片明年面世

1092
来自专栏ATYUN订阅号

关键术语总结:117个数据科学关键术语的解释

这篇文章展示了一组数据科学相关的关键术语,这些关键术语简明而实用,由12个不同的主题组成。 20个大数据的关键术语的解释 链接地址为http://www.kdn...

2736
来自专栏机器之心

业界 | 英特尔深度学习产品综述:如何占领人工智能市场

机器之心原创 作者:Haojin Yang 参与:Jake Zhao、侯韵楚、黄小天 2017 年 2 月 9 日,机器之心技术分析师应邀参加了在 SAP 创新...

3027
来自专栏ATYUN订阅号

【学术】5个字母解释数据科学管道 适合初学者的学习指南

从前,有一个叫“数据”的男孩。在他的一生中,他总是试图弄明白他活下去的目的是什么。比如:“我的价值观是什么? 我能对这个世界产生怎样的影响? 数据从何而来? 我...

2664

扫码关注云+社区