机器学习——归纳偏好

若我们通过学习得到的模型对应了假设空间的一个假设。然而有时与训练集一致的样本在应用模型时可能会产生不同的输出，此时无法判断哪一个是对的。因此，对于一个具体的学习算法而言，学习算法本身的偏好会起到关键的作用。机器学习算法在学习过程中对某种类型的假设的偏好，称为归纳偏好（inductive bias），或简称为偏好。

归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的价值观，有时选取最简单的那个假设是很有效的（奥卡姆剃刀）。（从统计上来看，如果假设了f的均匀分布，所有的学习算法的期望性能和随机胡猜差不多，然而实际情况并非这样）

注意：奥卡姆剃刀不是万能的，很有可能出现复杂模型的训练集外样本更一致的情况，这个现象对于任何算法都是能够出现的。

如果脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义。因为若考虑所有潜在的问题，那所有的学习算法都一样好，要谈论算法的相对优劣，必须要针对 具体的学习问题；在某些问题上表现好的学习算法，在另一些问题上却可能不好；学习算法自身的归纳偏好与问题是否相配，在实际的任务中会起到决定性的作用。