专栏首页arxiv.org翻译专栏使用模拟近似乘子的深度学习训练(performance)
原创

使用模拟近似乘子的深度学习训练(performance)

本文通过仿真提出了如何利用近似乘子提高卷积神经网络(CNNs)的训练性能。与精确乘法器相比,近似乘法器在速度、功率和面积方面具有更好的性能。然而,近似乘数有一个不准确性,这被定义为平均相对误差(MRE)。为了评估近似乘法器在提高CNN训练性能方面的适用性,本文模拟了近似乘法器误差对CNN训练的影响。本文证明了在CNN训练中使用近似乘子可以在速度、功率和面积方面显著提高性能,而代价是对获得的精度产生较小的负面影响。此外,本文还提出了一种混合训练方法,以减少这种方法对精度的负面影响。利用所提出的混合方法,训练可以先使用近似乘子,然后在最后几个阶段转换为精确乘子。使用这种方法,在速度、功率和面积方面近似乘法器的性能优势可以在训练阶段的大部分时间内得到。另一方面,在训练的最后阶段使用精确的乘数可以减少对准确性的负面影响。

原文题目:Deep Learning Training with Simulated Approximate Multipliers

原文:This paper presents by simulation how approximate multipliers can be utilized to enhance the training performance of convolutional neural networks (CNNs). Approximate multipliers have significantly better performance in terms of speed, power, and area compared to exact multipliers. However, approximate multipliers have an inaccuracy which is defined in terms of the Mean Relative Error (MRE). To assess the applicability of approximate multipliers in enhancing CNN training performance, a simulation for the impact of approximate multipliers error on CNN training is presented. The paper demonstrates that using approximate multipliers for CNN training can significantly enhance the performance in terms of speed, power, and area at the cost of a small negative impact on the achieved accuracy. Additionally, the paper proposes a hybrid training method which mitigates this negative impact on the accuracy. Using the proposed hybrid method, the training can start using approximate multipliers then switches to exact multipliers for the last few epochs. Using this method, the performance benefits of approximate multipliers in terms of speed, power, and area can be attained for a large portion of the training stage. On the other hand, the negative impact on the accuracy is diminished by using the exact multipliers for the last epochs of training.

原文作者:Issam Hammad, Kamal El-Sankary, Jason Gu

原文地址:https://arxiv.org/abs/2001.00060

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于模糊逻辑的Web语境语言结构集成,丰富概念视觉表征(multimedia)

    由于用语义描述符自动映射视觉特征的困难,最先进的框架在索引视觉内容的覆盖率和有效性方面表现出了较差的性能。这促使我们研究如何利用Web作为一个大型信息源来提取相...

    用户6869393
  • 协作者的智慧:绩效评估的同行评审方法(Computers and Society)

    个人在公司的表现和声誉是影响工资分配、晋升和解雇的主要因素。由于现代业务流程的复杂性和协作性,对大多数组织中个人影响的评估是一项模糊却重要的任务。现有的考绩方法...

    用户6869393
  • 高效大容量隐写技术(multimedia)

    表征现代隐写技术的性能指标包括容量(即可以隐藏在覆盖介质中的数据量)、隐写质量(即工件可见性)、安全性(即不可探测性)和强度或健壮性(用于抵抗旨在破坏秘密消息的...

    用户6869393
  • POJ-1952 BUY LOW, BUY LOWER(线性DP)

    BUY LOW, BUY LOWER Time Limit: 1000MS Memory Limit: 30000K Total Submis...

    ShenduCC
  • Spark系列 —— 算子详解(二)

    本文接上一篇 Spark系列 —— 各类算子详解(一) 这篇主要来讲讲 Action 算子 以及 Cache 算子。

    solve
  • HDUOJ------2492Ping pong

    Ping pong Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K ...

    Gxjun
  • 通过标签控制假新闻。分支过程分析(社会和信息网络)。

    过去几年,假新闻的传播,特别是在在线社交网络上的传播,已经成为一个令人关注的问题。这些平台也被用来传播其他重要的真实信息。因此,需要在不显著影响真实新闻传播的情...

    Jillchen996
  • POJ 1422 Air Raid

    Description Consider a town where all the streets are one-way and each street l...

    attack
  • HDU 3032 Nim or not Nim?(Multi-Nim)

    Problem Description Nim is a two-player mathematic game of strategy in which ...

    attack
  • Codeforces 626E Simple Skewness(暴力枚举+二分)

    E. Simple Skewness time limit per test:3 seconds memory limit per test:256 megab...

    Angel_Kitty

扫码关注云+社区

领取腾讯云代金券