Tensorflow入门教程（十一）——数值稳定性

上一篇我介绍了一些如何调试Tensorflow模型。这一篇我会说一说数值稳定性。

在我们使用任何数值计算库（如Numpy或Tensorflow）时，请注意，编写正确数学表达式的代码不一定会有正确的结果。需要确保计算稳定性。

我们从一个简单的例子开始吧。我们知道x * y / y是等于x。但让我们看看在实践中这是否总是如此吧。

出现Nan错误，不正确的原因是对于float32类型可以表示的最小正值是1.4013e-45，这里的y值太小，超过了float32类型可表示的范围，因此低于1.4013e-45的任何值都将被存储为零。

为确保计算稳定，我们希望避免特别小或绝对值特别大的值。这听起来很简单，但这类问题有时是非常难调试的，特别是在Tensorflow中进行梯度下降时。因为该过程不仅需要确保前向传播中所有值都在数据类型的有效范围内，而且还需要确保反向传播（梯度计算期间）的值也是。再次提醒，在进行梯度下降时必须格外小心，确保函数范围以及每个图层的梯度都在有效范围内。当使用指数函数和对数函数时尤其有问题，因为它们可以将小数字映射到巨大数字，反之亦然。

下一篇我会详细地说一说如何用Tensorflow去实现手写数字的分类。