对几个参数的标记方法进行说明解释:
主要是两类:二分类和多类分类
逻辑斯蒂回归(LR)中的代价函数:
在逻辑斯蒂回归中,只有一个输出变量称之为标量scalar。
但是在神经网络中会有多个输出变量,hθ(x)是一个K维的向量。
假设第i个输出函数:
代价函数J表示为:
解释说明:
假设有一个数据样本:
前向传播法就是通过一层层地按照神经网络的顺序从输入层到输出层计算下去。
1. 从最后一层的误差开始计算:
2. 用δ表示误差,误差=模型预测值-真实值
3. 前一层的误差
4. 再前一层的误差
第一层是输入变量,不存在误差
5. 假设λ=0,如果不做正则化处理时
对上面的式子中各个上下标的含义进行解释:
图中有个小问题,看截图的右下角!!!
根据上面的反向传播法得到的结论:
上面的式子中实现了怎么利用反向传播法计算代价函数的导数,在这里介绍怎么将参数从矩阵形式展开成向量形式
如何求解在某点的导数
在代价函数中怎么对某个参数θ求导
在构建神经网络的时候,首先考虑的是如何选择网络结构:多少层和每层多少个神经单元
至此,第五周的课程笔记完毕!