对于某些不具有比较性的样本特征
(比如对其他的x来说
相当大或者相当小),梯度下降的过程可能会非常漫长,并且可能来回波动才能最后收敛到全局的最小值。
在这样的情况下,可以对
进行缩放(如
或者
),使得
与其他的
具有可比性,以增加梯度下降的效率。 **通常将
缩放至⟦-1,1⟧**的区间内。(只表示一个大致的范围,这不是绝对的。)
将
替换为
使得特征值具有为0的平均值(对
不适用)
定义
为训练集
的平均值,
, 表示
的取值范围(近似值),或者直接设置为
的标准差。
梯度下降调试的方法:
的图像 原则:每一个batch之后 θ 的值都应该减小,这样的图像能够通过直观地表现变化率来表现梯度下降是否收敛(变化率为0)。
在某一次迭代之后的下降值小于某个值
后,就能够判断算法已经达到了收敛。
的值比较难取,所以通常采取1.中的方法进行观测。
常见的α过大的
的图像: α过大,出现梯度爆炸,每次
变化很大,导致代价函数无法收敛
α过小,梯度消失,每次
变化很小,导致代价函数收敛速度过慢