春节充电系列：李宏毅2017机器学习课程学习笔记04之分类

【导读】我们在上一节的内容中已经为大家介绍了台大李宏毅老师的机器学习课程的梯度下降问题，一步步讲解了梯度下降的若干主要问题：调整学习率、随机梯度下降、feature scaling、以及如何直观的理解梯度下降。这一节主要介绍常见的分类问题（Classification），本文内容涉及机器学习中分类问题的几个主要问题：分类的定义、分类的回归模型等价、分类的概率模型、示例说明。话不多说，让我们一起学习这些内容吧。

课件网址：

http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17_2.html

视频网址：

https://www.bilibili.com/video/av15889450/index_1.html

李宏毅机器学习笔记 4 Classification

分类问题可以应用在很多领域，例如信用评分，医疗诊断，手写数字辨识，面部识别等领域。

以pokemon的类型辨识作为例子解释分类问题，pokemon有很多类型，比如火系，水系，电系等。

我们可以根据pokemon一系列特征，来解决分类问题

分类问题当作回归问题

如果分类问题当作一个回归问题解决，以二分类作为例子，给定一系列数据集，这些数据集有标签，其中我们可以让1表示class1,-1表示class2。

理想情况下如下图左边所示，貌似当做回归问题解决可以很好解决分类问题。但当碰到那些过于“正确”的例子时，会发生下图右边的情况，这时候分类效果并不理想

分类问题当作概率模型

于是我们可以尝试使用概率的模型来解决分类问题。例如我们知道类别1，类别2的概率，知道已知类别1情况下blue的概率，知道已知类别2情况下blue的概率，于是我们可以推得已知blue情况下为类别1的概率。

举例

下面用具体的例子来计算说明

已知water类pokemon有79只，normal类pokemon有61只，我们可以得到其类别的概率。

我们用一个向量来表示一个pokemon的属性

Water类的79只pokemon向量表示我们已经知道

我们假设其分布服从高斯分布，利用最大似然估计，我们可以轻易得到求高斯分布均值和方差的公式。

最后将算出的概率汇总，利用之前的公式，得到x是class1的概率，当这个概率大于0.5时我们认为其属于class1。

最终得到如下结果。

为了有效减少参数，可以让两个模型用同样的协方差矩阵

μ1和μ2算法和以前一样

我们观察实验结果，可以发现当两个高斯分布协方差矩阵相同时，class的边界是线性函数

并且正确率大为提高

我们来稍微改变一下前面的条件概率公式，可以得到sigmoid function

然后对sigmoid的z进行化简

当两个高斯分布的协方差矩阵相同时我们可以继续化简得到

从上图我们可以明白为什么当两个高斯分布的协方差矩阵相同时其class的边界为线性函数。