Coursera机器学习机器学习笔记 为什么线性回归中代价函数除以2m？

转载：http://blog.csdn.net/u010106759/article/details/50380442

线性回归中代价函数为：

J = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2 J = \frac{1}{2m} \sum_{i=1}^{m} {\left({h}_{\theta }({x}^{\left(i \right)} )-{y}^{\left(i \right)} \right)}^2 J=2m1​i=1∑m​(hθ​(x(i))−y(i))2

为什么是除以 2 m 2m 2m，第一反应不应该除以 m m m么？在吴恩达机器学习视频公开课上讲解是为了后续数学计算的方便。

因为这里无论除以 2 m 2m 2m还是 m m m，代价函数最优化的结果 θ \theta θ都是相同的。利用梯度下降法对 J J J求导，如果是 2 m 2m 2m，求导结果为：

∂ J ∂ θ i = 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) ∂ h θ ( x ( i ) ) ∂ θ \frac{∂J}{∂{θ}_{i}} = \frac{1}{m} \sum_{i=1}^{m}\left({h}_{\theta} ({x}^{(i)})−{y}^{(i)} \right) \frac{∂{h}_{\theta}{\left ({x}^{(i)}\right)}}{∂θ} ∂θi​∂J​=m1​i=1∑m​(hθ​(x(i))−y(i))∂θ∂hθ​(x(i))​

这里正好除以 m m m，便于计算。