学习笔记：深度学习之“学习”

在上一篇文章中，我们谈到机器学习“学习”的是“规则”。进一步而言，机器学习需要一套评判机制来测量相应机器学习算法的性能。这套评判机制需要将当前输出与期望输出的“差异”做为反馈信号来调整算法。这个调整的过程就是所谓的“学习”。这种“学习”其实并不陌生。在数字信号处理中，有一类滤波器称为自适应滤波器（Adaptive Filter），它能够根据输入信号自动调整性能进行数字信号处理，如下图所示。输入信号x(n)通过参数可调数字滤波器后产生输出信号（或响应）y(n)，将其与参考信号（或称期望响应）d(n)进行对比，形成误差信号e(n)，并以此通过某种自适应算法对滤波器参数进行调整，最终使e(n)的均方值最小。常常将这种输入统计特性未知，调整自身的参数到最佳的过程称为“学习过程”。将输入信号统计特性变化时，调整自身的参数到最佳的过程称为“跟踪过程”，因此，自适应滤波器具有学习和跟踪的性能。

回到机器学习，它也需要输入数据、期望输出和评判机制。学习的“规则”本质上就是数据的表征方式。机器学习算法就是找到一种合适的表征方式使得数据更适合于当前任务，例如分类任务。数据的表征方式也就是模型。从数据中学得模型的过程称为“学习”（Learning）或“训练”（Training），这个过程通过执行某个学习算法来完成。训练过程中使用的数据称为“训练数据”（Training Data）。

深度学习做为机器学习的分支，其“学习”目的是一致的。类比于自适应滤波器，这里我们引入损失函数（Loss Function）的概念。损失函数的作用就是评判输出值与期望值的差异。如下图所示，进一步，从数值角度而言，学习的过程就是不断调整权值的过程。

综上所述：

深度学习“学习”什么：学习数据的表征方式也就是“模型”

深度学习怎么“学习”：根据训练数据、期望结果、损失函数达到学习的目的