深层神经网络

1、深度学习：一类通过多层非线性变换对高复杂性数据建模算法的合集。

2、线性模型：模型的输出为输入的加权和，假设一个模型的输出y和输入x满 足 y=W*X+b

3、只通过线性变化，任意层的全连接神经网络和单层神经网络模型的表达能力没有任何区别。

4、激活函数：将每一个神经元的输出通过一个非线性函数，那么整个神经网络的模型也就不再是线性的了，这个非线性函数就是激活函数。

5、多层神经网络解决异或运算

（1）、感知机可以简单地理解为单层的神经网络，无法模拟异或运算的功能。

（2）、深层神经网络实际上有组合特征提取功能，对于解决不易提取的特征向量的问题（图片识别和语音识别等）有帮助。

损失函数

神经网络模型的效果以及优化的目标是通过损失函数来定义的。

1、经典的损失函数

（1）、交叉熵：分类问题中使用比较广的一种损失函数。交叉熵是信息论中的概念，用来估算平均 编码长度

刻画的是两个概率分布之间的距离。当事件的总数是有限的情况下，概率分布 函数属于[0,1]且概率和为1.

1>将神经网络前向传播得到的结果变成概率分布softmax回归方法

2>softmax回归本省可以作为一个学习算法来优化分类结果，但在TensorFlow中，softmax回归参数被去掉了，它只是一层额外的处理层，将神经网络的输出变成一个概率分布，原始神经网络作为置信度来生成新的输出，新的输出满足概率分布的所有要求，这样就把神经网络的输出变成一个概率分布，从而可以通过交叉熵来计算预测的概率分布和真实答案的概率分布之间的距离。刻画的是通过概率分布q来表达概率分布p的困难程度。当作为损失函数时p代表正确的

时正确的答案，q代表的是预测值。

（2）、回归问题解决的是对具体数值的预测，eg：房价、销量。解决回归问题的神经网络只有一个输出点，节点的输出值就是预测值。损失函数是均值误差（mean squared error ）。

（）