神经网络和深度学习（二） ——从logistic回归谈神经网络基础
神经网络和深度学习（二） ——从logistic回归谈神经网络基础
神经网络和深度学习（二）——从logistic回归谈神经网络基础
（原创内容，转载请注明来源，谢谢）
一、概述
之前学习机器学习的时候，已经学过logistic回归，不过由于神经网络中，一些思想会涉及到logistic，另外会拿一些神经网络用到的解决方案，以logistic来举例，更浅显易懂（例如BP算法）。
因此，这里就再次复习logistic回归及其梯度下降、代价函数等，主要是讲述和后面学习神经网络有关的内容，其他部分会快速略过。
二、logistic输出函数
logistic是解决二分分类问题，即假设结果只有两种，这是一个大前提。
由于是二分分类，需要输出的是y的概率，故要求y的值在0~1之间，故不能用线性回归的那种wx+b，而是套上一层激励函数，称为sigmoid函数，f(z)=1/(1+e-z)，这个函数的区间在0~1，满足这个要求，且z=0.5时函数为0，正好对半分。
通常有两种方式表达logistic，一种是用w和b，此时x在1~n（样本特征值个数）；另一种是设x0=1，则只需要用一个θ就可以来表示，其中θ0对应的x0=1，即表示了b的值。本文用的是w和b的方式。
三、logistic代价函数与梯度下降
单个样本求出来的损失函数用L表示，样本集的代价函数用J表示。
这个J不直接用预测结果和实际结果的平方差求和公式，是因为这样会导致代价函数是非凸函数，后面的梯度下降对于非凸函数只能求到极小值，无法求到最小值，故加上log，让其变换成了凸函数，以便后面的梯度下降。
公式如下图所示：
梯度下降，目的是为了求，当给定w和b时，代价函数J取得最小值。故需要用J对w和b求偏导数，并令其为0，再用w-α*偏导数(同理b-α*偏导数)，其中α为学习函数，表示其迈向最小值的步伐。
经过若干次求偏倒，并且递减后，会得到一个最优化的J，并且此时的w和b就是所要求的参数。
四、计算图
1、概念
计算图是后续理解神经网络的前向传播、反向传播算法的基础。这里先抛开logistic，讨论一下计算图的概念。
1）前向传播
假设a=5，b=3，c=2，且u=bc，v=a+u，J=3v，则很容易求得j的结果，其画图后如下图所示：
2）反向传播——求导
现在要求J对参数a的导数dJ/da。可以先求J对v的倒数dJ/dv，将结果记录起来；再求J对a的导数，dJ/da = (dJ/dv)* (dv/da)，其中dJ/dv的值直接用上一步计算的结果，不需要再次计算。
同理，可以求出J对参数b、c的导数。如下图所示：
计算图对于后面理解反向传播算法很重要。当初学ng的机器学习的课，那时候他没讲到这个，我去理解反向传播算法，理解了好久。现在看到这个，有种突然恍然大悟的感觉。
2、计算图优化logistic（单个样本）
现在再来看logistic。实际上对于logistic，并不需要用计算图，可以直接进行优化，但是这里拿logistic举例，是为了便于以后理解神经网络的算法。
现在假设有三个参数w1、w2、b（即样本有两个特征），则如下图所示，可以正向求得该样本的损失函数L：
根据上面的推论，可以反向来求的损失函数L对w1、w2、b的偏导数。此时就用w1=w1-αdw1（w2、b同理），则就完成了一次优化。
可以用优化了的w1、w2、b再次前向计算L，再反向计算偏导数，再计算减法，以此类推，多次计算后，可以得到最小L情况下的w1、w2、b。
3、样本集计算
当考虑整个样本集的代价函数，实际上就是每个样本损失函数的和，这里为了调整数值大小，会将和除以样本容量m。但是其正向、反向求解过程和上面是一样的。
用伪代码描述，如下图所示：
五、向量化
1、概念
向量化要解决的问题是，求解上述logistic的过程中，会出现太多的for循环。这里使用numpy的矩阵运算，避开手工去写for循环，而是调用现有的函数，让计算机内部去执行for循环。
由于numpy的矩阵运算，是可以并行执行的，且numpy是用C语言写的python库，其运行效率比python原生写法快得多。
故所有能用numpy函数的，建议都要用，避免自己去写函数。
向量化本身概念很简单，即把w、x、z、y等变量，都用numpy的矩阵表示，而不用单个数字或者普通的数组，这样做的好处就是可以调用numpy的矩阵处理函数了。
2、简单举例
下图左边是没有用向量化，使用了for循环；右边是向量化，可以看到仅仅一行np.exp(v)，即可实现对向量v的每个元素的求e次幂的操作，非常快捷，且运算速度快得多。
ng讲课的时候演示过，当数量级在1百万时，numpy处理矩阵的速度约是原生for循环处理速度的200倍。
右图其他的式子是其他的一些举例，例如所有元素求log、求绝对值、求最大值、求平方、求倒数等，都非常方便快捷。
3、logistic向量化
要进行向量化，要将多个dw合并成1个dw，同时对其进行的优化计算也合并成一个矩阵运算。同理，后续的除法运算也合并成矩阵运算。
可以理解成，对于样本的每个特征值，简化成一个x(i)；接着，再将所有的x(i)整合到一个矩阵，最终简化成x来表示，且用整个x来参与运算。y同理。
这段讲解基本让我更理解了《机器学习实战》书上的代码，上面大量用到了向量化的技术。
第一次优化（把一个样本的所有特征整合到一个矩阵）：
最终优化（把所有样本整合到一个矩阵）：
六、logistic推导
这里主要讲解了为什么logistic的输出函数和代价函数会是那样的公式。
1、单个样本的损失函数
首先，要明确logistic的输出，是y=1的概率，故当y=1时输出的是y1，则y=0时输出的是1-y1（因为y只有0、1两种可能，故两者的概率和必定为1）。
为了简便，可以把这个函数整合成一个表达式y1y(1-y1)(1-y)，将y=0、1带入，可以看到还是上面的公式。
logistic的损失函数，为了是一个凸函数，取了log函数，故表达式改写成ylogy1 + (1-y)log(1-y1)，如下图所示：
上图没有加负号，实际上损失函数是加负号的，即表示要求最小的损失函数，会得到尽量大的logP。
2、样本集的代价函数
假设样本之间是独立的，则总的概率即为各个样本概率的乘积，由于乘积求log后，变成了加法，另外为了调整数量的大小，取了m个样本的平均值，且加上负号，最终就变成了代价函数的样子：
七、总结
本章还有讲到numpy、python的一些内容，我转到python的专题中。
这一章，重新学了logistic，我还是挺有收获的，感觉对logistic有了更清晰的认识，另外计算图部分我感觉对我理解BP有很大的帮助，向量化部分对理解其他机器学习编程书的python代码也有很大的帮助。
——written by linhxx 2018.01.31