DNN深度神经网络损失函数选择

文章目录

• 损失函数的类别：
• 专业名词中英文对照

损失函数的类别：

1.均方误差（MSE）、SVM的合页损失（hinge loss）、交叉熵（cross entropy） 2.相对熵 相对熵又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。在机器学习中，p(x)常用于描述样本的真实分布，例如[1,0,0,0]表示样本属于第一类，而q(x)则常常用于表示预测的分布，例如[0.7,0.1,0.1,0.1]。显然使用q(x)来描述样本不如p(x)准确，q(x)需要不断地学习来拟合准确的分布p(x)。 1c8e834e63bc00b9586c18008c31a319.png 3.MSE函数 在上图的绿色部分，初始值是0.98，红色部分初始值是0.82，假如真实值是0。直观来看那么0.82下降的速度明显高于0.98，但是明明0.98的误差更大，这就导致了神经网络不能像人一样，误差越大，学习的越快。 4.交叉熵是误差越大，下降速度越快。 ​

专业名词中英文对照

反向传播算法 Backpropagation Algorithm (批量)梯度下降法 (batch) gradient descent (整体)代价函数 (overall) cost function 方差 squared-error 均方差 average sum-of-squares error