[深度思考]·证明softmax不受输入的数据偏移影响

[深度思考]·证明softmax不受输入的数据偏移影响

证明softmax不受输入的常数偏移影响，即softmax(x)=softmax(x+c)

也就是证明加了偏移c之后，对整个softmax层的作用不起影响。如下：

20190425125303265.jpg

这有什么用处？

可以有效防止数据溢出

如何应用？

v2-02b14afaef92e51ba5ba8efb5201813a_hd.png

对任意a都成立，这意味着我们可以自由地调节指数函数的指数部分，一个典型的做法是取

x_{1}、x_{2}....x_{n}

中的最大值：a=max{x1,x2.....xn}

这可以保证指数最大不会超过0，于是你就不会上溢出。即便剩余的部分下溢出了，加了a之后，也能得到一个合理的值。