【原创】机器学习从零开始系列连载(4)——​逻辑回归

辑回归-Logistic Regression‍

逻辑回归恐怕是互联网领域用的最多的模型之一了，很多公司做算法的同学都会拿它做为算法系统进入模型阶段的baseline。

模型原理‍

逻辑回归是一种判别模型，与线性回归类似，它有比较强的先验假设 :

逻辑回归是判别模型，所以我们直接学习，以高斯分布为例:

整个原理部分的推导过程如下：

采用 MLE 或者 MAP 做参数求解:

损失函数‍

损失函数3 —— Cross Entropy Loss

简单理解，从概率角度：Cross Entropy损失函数衡量的是两个概率分布与之间的相似性，对真实分布估计的越准损失越小；从信息论角度：用编码方式对由编码方式产生的信息做编码，如果两种编码方式越接近，产生的信息损失越小。与Cross Entropy相关的一个概念是Kullback–Leibler divergence，后者是衡量两个概率分布接近程度的标量值，定义如下：

当两个分布完全一致时其值为0，显然Cross Entropy与Kullback–Leibler divergence的关系是：

往期推荐

1.机器学习原来这么有趣！【第一章】

2.【原创】机器学习从零开始系列连载(1)——基本概念

3.【原创】机器学习从零开始系列连载(2)——线性回归