二分分类【binary classification】
后续符号说明
y^ 当两个变量间存在线性相关关系时,常常希望建立二者间的定量关系表达式,这便是两个变量间的一元线性回归方程。假定x是自变量,y是随机变量,y对x的一元线性回归方程的表达式为:y ^ =a+bx 。因此字母头上加个“^”表示回归值,表示真实值的一种预测,实际的观测值与回归值是存在偏差的
logistic回归【Logistic regression】是一个用于二分分类【binary classification】的算法
为了训练逻辑回归模型的参数 w 和参数 b ,我们需要一个代价函数【亦称成本函数】,通过训练代价函数来得到参数 w 和参数 b
注意: Loss (error) function【损失函数 / 误差函数】是在单个训练样本中定义的,它衡量了在单个训练样本中的表现
梯度下降法【Gradient Descent】 来训练或学习训练集上的参数w和b
激励函数(可微分)使线性结果变成非线性结果 二分类问题,如果不使用激活函数,例如使用简单的逻辑回归,只能作简单的线性划分,如下图所示
如果使用激活函数,则可以实现非线性划分 relu函数是常见的激活函数中的一种,表达形式如下。
Relu函数的图像和求导后的图像如下:
从表达式和图像可以明显地看出:Relu其实就是个取最大值的函数。 ReLU函数其实是分段线性函数,把所有的负值都变为0,而正值不变,这种操作被成为单侧抑制。(也就是说:在输入是负值的情况下,它会输出0,那么神经元就不会被激活。这意味着同一时间只有部分神经元会被激活,从而使得网络很稀疏,进而对计算来说是非常有效率的。)正因为有了这单侧抑制,才使得神经网络中的神经元也具有了稀疏激活性。尤其体现在深度神经网络模型(如CNN)中,当模型增加N层之后,理论上ReLU神经元的激活率将降低2的N次方倍。
感知器(M-P神经元模型) 感知器(Perceptron)由两层神经元组成,如图所示,输入层接收外界输入信号后传递给输出层,输出层是M-P神经元,亦称“阈值逻辑单元”。在M-P神经元模型中,神经元接收到来自n个其他神经元传递过来的输入信号,这些输入信号通过带权重的连接进行传递,神经元接收到的总输入值将与神经元的阈值进行比较,然后通过“激活函数”(activation function)处理以产生神经元的输出。
理想中的激活函数是下图所示的阶跃函数,它将输入值映射为输出值“0”或“1”,显然“1”对应于神经元兴奋,“0”对应于神经元抑制。然而,阶跃函数具有不连续、不光滑等不太好的性质,因此实际常用Sigmoid函数作为激活函数,如图所示,它把可能在较大范围内变化的输入值挤压到(0,1)输出范围内,因此,有时也称为“挤压函数”。
把许多个这样的神经元按一定的层次结构连接起来,就得到了神经网络。
感知器能很容易地实现逻辑与、或、非的运算,注意到
假定函数f为图(a)中的阶跃函数,且x1,x2的取值为0或1,下面通过有两个输入神经元的感知器来实现逻辑与、或、非的运算。
“与”(x1∧x2):令w1=w2=1,θ=2,则
仅在x1=x2=1时,y=1;
“或”(x1∨x2):令w1=w2=1,θ=0.5,则
当x1=1或x2=1时,y=1;
“非”(¬x1):令w1=-0.6,w2=0,θ=-0.5,则
当x1=1时,y=0;当x1=0时,y=1;
更一般地,给定训练数据集,权重wi(i=1,2,… , n)以及阈值θ可通过学习得到,阈值θ可看作一个固定输入为-1.0的哑结点所对应的连接权重w(n+1),这样,权重和阈值的学习就可统一为权重的学习
卷积的缺点
为了解决这些问题,可以在卷积操作之前填充这幅图像。在这个案例中,可以沿着图像边缘再填充一层像素。如此,那么6×6的图像就被填充成了一个8×8的图像。如果用3×3的图像对这个8×8的图像卷积,得到的输出就不是4×4的,而是6×6的图像,就得到了一个尺寸和原始图像6×6的图像。
卷积的分类