误差函数

1. 平方误差

• 对于单个数据来说，其平方误差为

\begin{array}{c} E = \frac{1}{2} \sum_{k} (y_k - t_k)^2 \end{array}

其中，y_k​ 表示神经网络的输出，t_k表示监督数据（t 采用 one-hot 编码），k 表示数据的维度。

• 对于所有训练数据来说，其平方误差为

\begin{array}{c} E = \frac{1}{2N} \sum_n \sum_k (y_{nk} - t_{nk})^2 \end{array}

2. 交叉熵误差

• 对于单个数据来说，其交叉熵误差为

\begin{array}{c} E = - \sum_{k} t_k \log y_k \end{array}

其中，y_k​ 表示神经网络的输出，t_k表示监督数据（t 采用 one-hot 编码），k 表示数据的维度。

• 对于所有训练数据来说，其交叉熵误差为