富士通新技术大幅减少深度学习对内存的需求

《IEEE科技纵览》发表文章称，富士通开发的新技术可以大幅减少深度学习算法对内存的需求。

日本富士通开公司发了一种基于深度学习神经网络算法的并行计算加速方法，该方法能够扩大适用于单颗芯片的神经网络规模。富士通实验室下一代计算机系统项目组的Yasumoto Tomita表示：通过一条有效的捷径，该方法能够将神经网络计算所需内部图形处理器（GPU）的内存需求量减少40%。

Tomita表示：富士通公司根据从加权数据计算中间误差数据与从中间数据产生加权误差数据的过程，来判断如何重复利用GPU的特定内存区域。这一过程是独立且同时进行的。他估计，减少40%的内存使用量可以允许在一个GPU上运行更大的具有“大约两倍层数或神经元”的神经网络。Tomita指出，在训练过程中，当运行于多个GPU的神经网络需要共享数据时，可能出现一些性能瓶颈，而这种方法可以减少出现这种瓶颈的机会。

此外，富士通正在开发能够加快多个GPU之间数据交换的软件，该软件可能会与能够提升存储效率的技术相结合，以提升该公司的深度学习能力。Tomita表示：将存储效率技术与GPU并行化技术相结合，可以使得大型神经网络的快速学习成为可能，且无需模型的并行化。