今天聊权重(weight)。
想起来聊这个,其实是想起之前Ng说的一句话,说训练模型有点像用老式的收音机收听电台,也就是调台。收音机调台可比电视麻烦多了,不是按1、2、3这些数字键,而是需要旋动按钮来调频。
每个电台都有自己的频率,频率调对了,才能收听到电台的内容。频道的频字,就是从这里来的。
我小时候是真的玩过收音机的,这就比较暴露年龄了,现在挺多人不一定见过收音机,大概长这样:
......感觉这个收音机要不就是太古老了,要不就是太新潮了,印象中以前的收音机没长得这么文艺。总之,都是有旋钮。
旋钮,就是机器学习模型里的权重。
机器学习模型要做的就是拟合数据,这个说法应该可以更准确。
无论哪款机器学习算法,其实是起源于一个最最基本的假设:数据的分布变化都是有规律的。机器学习模型要做的,就是去逼近这个规律。
电台的频率也好,数据的规律也好,叫lv的东西都能在坐标轴上作出线条。旋转收音机的旋钮,能使得接收频率变化,而调整权重,能使模型作出的输出函数变化。不管是不断旋动旋钮,还是不断调整权重,为的都是当下所作出的线条,和lv所做的线条,能够合二为一,贴在一起。
这就是权重和调整权重的作用。
下次再聊。