机器学习 | 梯度下降种类及对比

批量梯度下降法BGD

批量梯度下降法（Batch Gradient Descent，BGD）是梯度下降法最常用的形式，具体做法：在更新参数时使用所有的样本来进行更新。

\Theta i=\Theta i-\alpha \sum_{j=1}^{m}(h\Theta(X0^{j},X1^{j},...Xn^{j})-y_{j})Xi{^{j}}

求梯度的时候用了所有m个样本的梯度数据。BGD容易得到最优解，但由于每次考虑所有样本，速度很慢。

随机梯度下降法SGD

随机梯度下降法（Stochastic Gradient Descent，BGD）和批量梯度下降法原理类似，区别在与求梯度时没有用所有的m个样本的数据，而是仅仅采用一个样本j来求梯度。对应的更新公式是：