[DeeplearningAI笔记]第二章3.8-3.9分类与softmax

3.8 Softmax regression

• Softmax回归.能让你在试图识别某一分类时作出预测,或者说是多种分类的一个,不只是识别两个分类.
• 以识别图片的例子而言,我们设总的类别数为C,则此例中设置C为4,最后一层设置神经元个数与C相等为4,计算值为在输入值为X的情况下四种类型每一个的概率有多大.

• 对于输出层的神经元是一个 (4, 1)的向量,并且输出的

的四个数字加起来应该等于1

Softmax layer

• Softmax函数的特殊性在于输入的是一个向量输出也是一个向量.

3.9训练一个softmax分类器

• softmax是相对于hardmax而言的,hardmax会将输出值概率最大的值标记为1,而其他分类都记为0.而softmax还是保存了概率的输出值.
• softmax回归将logistic回归扩展到了C类,可以证明当C=2时,softmax回归就是普通的logistic回归,也可以视为logistic是softmax回归的特殊形式.

怎样训练带有softmax输出层的神经网络

• 这是单个样本上的loss function情况,对于整个数据集上的cost function 而言是所有数据的loss function之和取平均,所以只要loss function计算方法无误,可以扩展到整个数据集上.
• 整个数据集此时的数据结构为(假设有m个训练数据,即矩阵会有m列),得到的会是一个(1,m)的计算数值: