机器学习-17：MachineLN之逻辑回归
你要的答案或许都在这里：小鹏的博客目录
我想说：
其实....整天其实，感觉没啥好说的了，好好GAN吧。
逻辑回归可以这样理解： 和感知机比较着来看或许更好，将感知机的表达式中的sign函数换成sigmoid就是逻辑回归的表达式，但是这一换不要紧，导致后边参数更新的方式完全不同，因为逻辑回顾的损失函数是参数连续可导的，还记得我们说过感知机的损失函数是参数连续不可导的吗？ ：MachineLN之感知机
还是一如既往：
说起逻辑回归，那么我的问题：（根据MachineLN之三要素：模型、策略、算法）
（1）什么是逻辑回归？（模型）
（2）逻辑回归是如何学习的？（策略）
（3）逻辑回归学习算法？（算法）
看到这里你的答案是什么？下面是我的答案：
1. 什么是逻辑回归？
前面有提到，逻辑回归是来解决分类问题的，而不是回归问题，想想问什么呢？就是因为sigmoid。说起sigmoid应该很熟悉吧：MachineLN之激活函数
直接看一下二项逻辑回归表达式吧：可以理解为事件发生的概率和事件不发生的概率：
2. 逻辑回归是如何学习的？
逻辑回归可以通过极大似然估计（什么是极大似然估计，简单说利用已知的样本结果，反推有可能（最大概率）导致这样结果的参数值（模型已知，参数未知））来估计模型参数：
设：
那么似然函数可表示为：
为了后面求导，这里取对数似然函数：
那么对数似然函数，也就是损失函数为：
接下来我们要求其最大值，其最大值的要用梯度上升法，如果想用梯度下降只需要加一个负号，利用梯度下降法求最小值。
（3）逻辑回归学习算法？
还是用手撕一下吧：
下一节的源代码解析你会看到就是按照这个更新公式来做的，但是加了一些优化。
另外可以考虑一下：逻辑回归和softmax回归的关系？ 多项逻辑回归是softmax吗？ 答案是肯定的！
看下面逻辑回归表达式：
在看softmax表达式：
有人说，啊，完全不一样，不要急化简一下看看：
推荐阅读：
腾讯云开发者
