富士通新技术大幅减少深度学习对内存的需求

《IEEE科技纵览》发表文章称,富士通开发的新技术可以大幅减少深度学习算法对内存的需求。

日本富士通开公司发了一种基于深度学习神经网络算法的并行计算加速方法,该方法能够扩大适用于单颗芯片的神经网络规模。富士通实验室下一代计算机系统项目组的Yasumoto Tomita表示:通过一条有效的捷径,该方法能够将神经网络计算所需内部图形处理器(GPU)的内存需求量减少40%。

Tomita表示:富士通公司根据从加权数据计算中间误差数据与从中间数据产生加权误差数据的过程,来判断如何重复利用GPU的特定内存区域。这一过程是独立且同时进行的。他估计,减少40%的内存使用量可以允许在一个GPU上运行更大的具有“大约两倍层数或神经元”的神经网络。Tomita指出,在训练过程中,当运行于多个GPU的神经网络需要共享数据时,可能出现一些性能瓶颈,而这种方法可以减少出现这种瓶颈的机会。

此外,富士通正在开发能够加快多个GPU之间数据交换的软件,该软件可能会与能够提升存储效率的技术相结合,以提升该公司的深度学习能力。Tomita表示:将存储效率技术与GPU并行化技术相结合,可以使得大型神经网络的快速学习成为可能,且无需模型的并行化。

原文发布于微信公众号 - 人工智能快报(AI_News)

原文发表时间:2016-11-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

MIT 新系统用机器学习实现机器学习,合成数据较好代替真实数据

【新智元导读】使用真实数据所带来的隐私问题极大地阻碍了数据科学的发展。MIT 的本篇论文描述了一种自动创建合成数据的机器学习系统,这种合成数据与真实用户所产生的...

3325
来自专栏用户画像

Youtube视频推荐算法的前世今生

在这个阶段,YouTube认为应该给用户推荐曾经观看过视频的同类视频,或者说拥有同一标签的视频。然而此时,YouTube的视频已是数千万量级,拥有标签的部分却非...

1082
来自专栏AI科技评论

学界 |「眼」来助听:谷歌视觉-音频分离模型解决「鸡尾酒会效应」

Google Research 软件工程师发表了可解决「鸡尾酒会效应」视觉-音频语音识别分离模型。 AI 科技评论按:人类很擅长在嘈杂的环境下将其他非重点的声...

3947
来自专栏机器之心

从PyTorch到Mxnet ,对比7大Python深度学习框架

选自kdnuggets 作者:Madison May 机器之心编译 参与:王宇欣、李亚洲 选择什么深度学习框架一直是开发者非常关心的一个话题,而且深度学习框架...

3896
来自专栏数据科学与人工智能

【算法】推荐算法--协同过滤

协同过滤推荐(Collaborative Filtering recommendation)是在信息过滤和信息系统中正迅速成为一项很受欢迎的技术。与传统的基于内...

951
来自专栏ATYUN订阅号

自动驾驶技术—如何训练自己的神经网络来驾驶汽车

神经网络,特别是深度学习的研究最近在计算机视觉的领域和计算机科学的其他重要领域取得了许多突破。在这些技术的应用中,自动驾驶技术十分火热。几乎每个人都听说过它,许...

2637
来自专栏人工智能头条

深度学习在推荐领域的应用

924
来自专栏机器之心

业界 | IBM发布新型分布式深度学习系统:结合软硬件实现当前最优性能

选自IBM 机器之心编译 近日,IBM 发布了一种结合软件和硬件的新型分布式系统 PowerAI DDL,该系统不仅在 Imagenet 22K 任务上实现了当...

3195
来自专栏ATYUN订阅号

“假脸”也能解锁手机怎么办?基于DNN的反欺骗机制

AiTechYun 编辑:xiaoshan.xiang ? 想象一下,只需要用你的脸对准摄像头,不需要指纹扫描或触摸,就能解锁手机。它只会在没有任何用户干预的情...

2634
来自专栏木子昭的博客

通俗解释"神经网络"

当下互联网圈最火的要数"人工智能"了,而人工智能是基于神经网络的,这里简单描述一下"神经网络" 人的神经元 ? 人的神经元 简化版神经元 ? 简化版 上图中...

34812

扫码关注云+社区