TensorFlow从0到1 | 第七篇：TensorFlow线性回归的参数溢出之坑

上一篇 6 解锁梯度下降算法 解释清楚了学习率（learning rate）。本篇基于对梯度下降算法和学习率的理解，去填下之前在线性回归中发现的一个坑。

在5 TF轻松搞定线性回归 中提到，只要把TF官方Get Started中线性回归例子中的训练数据换一下，就会出现越训练“损失”越大，直到模型参数都stackoverflow的情况。然而更换训练数据是我们学习代码的过程中再普通不过的行为，从stackoverflow.com上也能搜到很多人做了类似的尝试而遇到了这个问题。到底为什么这么经不住折腾？马上摊开看。

stackoverflow

更换训练数据如下：

• 参数初始值a=-1，b=50；
• 训练数据x_train = [22, 25]；
• 训练数据y_train = [18, 15]。

先亮个底：给出的训练数据只有两组但足够了，两点成一线，要拟合的直线心算下就能得出是y=-x+40，a是-1，b是40。

运行使用新数据的代码：

为了方便观察，让程序训练了10次，输出是：

参数越练损失越大的趋势果然重现了。

现在我们已经掌握了梯度下降大法，就来看看每次训练的结果到底是怎么产生的。

手工计算了两次迭代，和程序输出一致。

图中显示，训练样本（已红色标出）的值对梯度值的贡献很大，而此时沿用之前的学习率η=0.01就显得不够小了。训练样本既然不可调，那么显然只能调小学习率了。随之而来的副作用就是会导致学习缓慢，所以还得增加训练的次数。这就是之前的例子中最终调整为η=0.0028，epoch=70000的原因了。

如此看来，这的确不是TF的bug。再一次体会：训练是一门艺术。