之前我们已经了解了Coss Function的定义,它是一个convex,所以我们能找到它的全局最优解,我们可以先可以先随便选取一组w,b,求得刚开始J(w,b)对w的偏导,用公式:
我们可以对w进行更新...逻辑回归中包含了正向传播和反向传播,用一个计算图来表示其过程
计算图:
举一个简单的例子例:
把j(a,b,c)看作logistic回归成本函数j=3(a+bc),它的计算过程为让u=bc,v=a+u...得j=3v
其中正向传播为从左到右得到成本函数的过程
反向传播为对其进行求导得到dJ/da,dJ/db,dJ/dc
现在对一个逻辑回归进行梯度计算:
给定的逻辑回归中,Loss Function 表达式如下...:
对于正向传播非常简单,假设输入样本x有两个特征值(x1,x2)则对应的w为w1,w2,则对应的最后的Loss Fuction如下:
对于反向传播计算如下:
得到dz以后就可以对w1,w2进行求导了...则梯度下降算法为
上述表示的是单个样本的logistic回归,对于多个样本的logistic回归表示如下:
Cost Function为:
假设该logistic回归有两个特征值,那么dw1,dw2,