ML基石_10_LogisticRegression

• logistic regression problem
  • Y是概率的情况
  • 相同数据不同目标函数
  • logis假设集
• logistic regression error
  • error already stydied
  • likelihood
  • 优化化简
• gradient for lr error
  • Ein的性质
  • Ein梯度的计算
  • Ein梯度等于0的计算
  • 迭代算法
• gradient descent
  • descent的方向
  • 迭代速度的选择
  • 汇合
• 总结

logistic regression problem

Y是概率的情况

现实生活中，有一些问题，不仅需要分类01，还需要给出分类的概率。这种情况下的target function是：

f(x)=P(+1|x)

f(x)=P(+1| x )

这里写图片描述

相同数据不同目标函数

logistic regression用到的数据和linear classification用到的数据一样，但是却需要得到概率输出的Y值。

这里写图片描述

logis假设集

既然数据是01型的，需要的y是概率型的，那么我们的假设集肯定得输出概率型的y，且范围在[0,1]。

使用logistic假设集，将输出限制到[0,1]之间。

这里写图片描述

logistic regression error

有了假设集H(logistic的假设集)，就需要演算法A去选出合适的假设集，但是需要有合适的标准才可以选择啊，首先回归之前学过的error measure。

error already stydied

这里写图片描述

likelihood

研究error的测量，就是研究以什么样的标准，去评判构建出来的g是否真实趋近于f。

首先，可以算出以f表示的，当前数据出现的概率，当前数据已经出现了，那么这个概率应该很大。同时，在计算出以g表示的概率，这个概率应该likelihood f，所以同样应该概率很大。

这样，就把问题转化成了最大似然的优化问题。

这里写图片描述

优化化简

这里写图片描述

这里写图片描述

这里写图片描述

这里写图片描述

gradient for lr error

上文中，得到了EinE_{in}，那么如何求解这个优化问题呢

Ein的性质

连续可微，二次倒数存在，凸函数

这里写图片描述

Ein梯度的计算

这里写图片描述

Ein梯度等于0的计算

很困难

这里写图片描述

迭代算法

这里写图片描述

gradient descent

descent的方向

梯度方向是函数增长最快的方向，这里求解的问题是最小值的优化问题，方向应该是梯度的反方向。

这里写图片描述

这里写图片描述

迭代速度的选择

这里写图片描述

太快的话可能好可能差，原有公式中的假设不存在，所以存疑。

汇合

这里写图片描述

总结

这里写图片描述