前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何防止softmax函数上溢出(overflow)和下溢出(underflow)

如何防止softmax函数上溢出(overflow)和下溢出(underflow)

作者头像
zenRRan
发布2018-04-10 11:05:52
2.1K0
发布2018-04-10 11:05:52
举报
文章被收录于专栏:深度学习自然语言处理

《Deep Learning》(Ian Goodfellow & Yoshua Bengio & Aaron Courville)第四章「数值计算」中,谈到了上溢出(overflow)和下溢出(underflow)对数值计算的影响,并以softmax函数和log softmax函数为例进行了讲解。这里我再详细地把它总结一下。

『1』什么是下溢出(underflow)和上溢出(overflow)

实数在计算机内用二进制表示,所以不是一个精确值,当数值过小的时候,被四舍五入为0,这就是下溢出。此时如果对这个数再做某些运算(例如除以它)就会出问题。 反之,当数值过大的时候,情况就变成了上溢出。

『2』softmax函数是什么

softmax函数如下:

从公式上看含义不是特别清晰,所以借用知乎上的一幅图来说明(感谢原作者):

这幅图极其清晰地表明了softmax函数是什么,一图胜千言。

『2』计算softmax函数值的问题

通常情况下,计算softmax函数值不会出现什么问题,例如,当softmax函数表达式里的所有 xi 都是一个“一般大小”的数值 c 时——也就是上图中

时,那么,计算出来的函数值

但是,当某些情况发生时,计算函数值就出问题了:

  • c 极其大,导致分子计算

时上溢出

  • c 为负数,且

很大,此时分母是一个极小的正数,有可能四舍五入为0,导致下溢出

『3』如何解决

所以怎样规避这些问题呢?我们可以用同一个方法一口气解决俩:

即 M 为所有

中最大的值,那么我们只需要把计算

保持一致。

举个实例:还是以前面的图为例,本来我们计算

是用“常规”方法来算的:

现在我们改成:

其中,M=3是

中的最大值。

可见计算结果并未改变。

这是怎么做到的呢?通过简单的代数运算就可以参透其中的“秘密”:

通过这样的变换,对任何一个

减去M之后,e 的指数的最大值为0,所以不会发生上溢出;同时,分母中也至少会包含一个值为1的项,所以分母也不会下溢出(四舍五入为0)。 所以这个技巧没什么高级的技术含量。

『4』延伸问题

看似已经结案了,但仍然有一个问题:如果softmax函数中的分子发生下溢出,也就是前面所说的 c 为负数,且

很大,此时分母是一个极小的正数,有可能四舍五入为0的情况,此时,如果我们把softmax函数的计算结果再拿去计算 log,即 log softmax,其实就相当于计算log(0),所以会得到

,但这实际上是错误的,因为它是由舍入误差造成的计算错误。 所以,有没有一个方法,可以把这个问题也解决掉呢? 答案还是采用和前面类似的策略来计算 log softmax 函数值

大家看到,在最后的表达式中,会产生下溢出的因素已经被消除掉了——求和项中,至少有一项的值为1,这使得log后面的值不会下溢出,也就不会发生计算 log(0) 的悲剧。

在很多数值计算的library中,都采用了此类方法来保持数值稳定。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-03-27,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 深度学习自然语言处理 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档