逻辑回归的正则化

本文是吴恩达《机器学习》视频笔记第43篇，对应第3周第11个视频。

“Regularization——Regularized logistic regression”。

01

—

笔记

对于逻辑回归代价函数的优化，我们前面也讲过两种办法：（1）比较通用的梯度下降法；（2）一类比较高级的方法，就是想办法计算出代价函数的导数，类似于线性回归中的正规方程的方法。

本小节介绍如何使用正则化解决逻辑回归的问题。

如上上小节所述，逻辑回归分类的过拟合问题，会使得决策边界非常的扭曲。

类似的，加入正则化项后的代价函数是：

与线性回归类似，梯度下降的算法是：

与上一小节类似，只需要在\theta_j这一边加上一个正则项即可：

同样的，\alpha后面中括号里面的部分，也是对新的代价函数（加入了正则化项）求偏导后的结果。

如果是使用Octave来定义这个costFunction的话，我们需要这样写：

然后参考前面文章：

Octave梯度下降法最优化代价函数的一个例子—ML Note 38

中介绍的方法就可以了。当然上面的伪代码，中每一个语句的实现都有不同，就是要加上正则化项。

小结

到此，我们把前面三周的内容都学完了。这个时候，如果你掌握了线性回归、逻辑回归、梯度下降、正则化，那你就已经比大多数的人更了解机器学习了。按照吴老师的说法，你对机器学习的了解已经超过了很多硅谷中机器学习工程师了 。

当然，这还远远不够，接下来几周我们会学习神经网络等等一些更高级的非线性分类器。

02

—

视频

http://mpvideo.qpic.cn/0b78qiaagaaaiaapvqbxabpvbawdaobaaaya.f10004.mp4?dis_k=45973b1cc5b95de092afcc7cf9c4267e&dis_t=1598435627