文章首发于本人CSDN账号:https://blog.csdn.net/tefuirnever
由于微信不允许外部链接,你需要点击页尾左下角的“阅读原文”,才能访问文中的链接。
1、二分类
下面要学习的是神经网络的基础知识,其中需要注意的是,当实现一个神经网络的时候,需要知道一些非常重要的技术和技巧,闲言少叙,直接开搞。
逻辑回归(logistic regression) 是一个用于 二分类(binary classification) 的算法。首先从一个问题——猫咪识别开始说起,如果识别这张图片为猫,则输出标签1作为结果;如果识别出不是猫,那么输出标签0作为结果。用字母 来表示输出的结果标签,如下图所示:
如上图所示,一张图片在计算机中对应三个矩阵,分别对应图片中的红、绿、蓝三种颜色通道,且图片大小与三个矩阵相同,分别对应图片中红、绿、蓝三种像素的强度值。
为了把这些像素值转换为 特征向量 ,需要定义特征向量表示图片,把像素都取出来,也就是矩阵中的数据,例如255、231等等,取完红色像素接着是绿色像素,最后是蓝色像素,直到得到特征向量,也就是图片中红、绿、蓝像素排列的值。如果图片的大小为64x64像素,那么 的总维度,是64 * 64 * 3
,也即是三个像素矩阵中的像素总量(12288)。
现在用 来表示输入特征向量的维度,有时为了简洁,直接用小写的 来表示。所以二分类问题中,最终的目标就是习得一个分类器,以图片特征向量作输入,预测输出结果 是1还是0,即预测图片中是否有猫。
符号定义 :
:表示一个 维数据,为输入数据,维度为 ;
:表示输出结果,取值为 ;
:表示第 组数据,可能是训练数据,也可能是测试数据,此处默认为训练数据;
:表示所有的训练数据集的输入值,放在一个 的矩阵中,其中 表示样本数目;
:对应表示所有训练数据集的输出值,维度为 。
2、逻辑回归
对于二元分类问题,给定输入特征向量 ,它可能对应一张图片,如果想识别这张图片是否是猫的图片,怎么做?
定义算法的输出预测为 ,也就是对实际值 的估计。更正式地来说, 表示 等于1的一种可能性或者是几率,当然,前提条件是给定了输入特征 。
上面说过 是一个 维的向量,相当于有 个特征的特征向量。 表示逻辑回归的参数,也是一个 维向量,因为 实际上是 特征权重,维度与特征向量相同。参数里面还有 ,是一个实数,表示偏差。所以给出输入以及参数后,一个可以尝试却不可行的结果是 。
为什么说可以尝试,却不可行呢?注意,这时得到的实际上是线性回归时用到的一个关于输入 的线性函数,但这对二元分类问题来讲,却不是一个非常好的算法。因为 表示实际值 等于1的几率,也就是说 应该在0到1之间。
这是一个需要解决的问题,因为 可能比1要大得多,更有甚者,可能是一个负值,但是我们想要的是一个概率。因此,在逻辑回归中,输出是 作为自变量的 sigmoid 函数的输出值。有点绕,其实简单来说, 。
如上图所示,就是 sigmoid 函数的图像,它平滑地从0走向1,这里的作用其实还是把线性函数转换为非线性函数。
关于 sigmoid 函数的公式是这样的
这里要注意的是,从图像可以看出两点:
因此当实现逻辑回归时, 在0到1之间,成为对 概率的一个很好的估计。
3、代价函数
为什么需要代价函数(也翻译作成本函数)?
为了训练逻辑回归模型,得到参数 和参数 。
看到这里你可能有点蒙逼,先来看一下损失函数吧,你可能会问那 什么是损失函数? 损失函数又叫做 误差函数,用来衡量算法的运行情况,Loss function:.。通过这个 ,也就是损失函数,来衡量预测输出值和实际值有多接近。
一般的损失函数有预测值和实际值的平方差或者它们平方差的一半,但是通常在逻辑回归中不这么做,为什么?因为在学习逻辑回归参数时,会发现优化目标不是 凸优化(在凸优化中局部最优值必定是全局最优值),只能找到多个局部最优值,很可能找不到全局最优值。所以虽然平方差是一个不错的损失函数,但在逻辑回归模型中定义的是另外一个损失函数,即
为什么要用这个函数作为逻辑损失函数?来举两个例子你就懂了,首先确定一件事,无论解决什么问题,你肯定想要误差尽可能地小。好了,现在来看例子吧:
而在逻辑回归中,我们期待的输出就是1或者0,是不是这个损失函数更好呢?:)
可以看出来,损失函数是在单个训练样本中定义的,它衡量的是算法在单个训练样本中表现如何。那么怎么衡量算法在全部训练样本上的表现如何?
需要定义一个算法的 代价函数,算法的代价函数,是对 个样本的损失函数求和,然后除以 :
在训练逻辑回归模型时,找到合适的 和 ,来让代价函数 的总代价降到最低即为所求。