机器学习和统计学习

曾经被问及机器学习和统计分析有什么区别——实际上我对统计分析并不是很了解，我想它应该主要就是用概率统计的方法去分析数据的一门学科吧，看起来确实和机器学习很像（特别是现在“机器学习”已经快要等价于“统计学习”了的时候），然而后来我渐渐地发现其实还是有一些差别的，或者说，干脆就是不一样吧。统计分析的主要目的应该是去分析或者解释存在的数据，例如，用某个概率模型，从数据去估计分布的参数，并计算置信度之类的。

而机器学习，虽然看起来也比较类似，但是本质的区别在于，机器学习的目的不在于分析当前数据，而是在于对未来的预测。当然这种分类并不是很严格的，比如机器学习中的用于 density estimation 的最大似然方法，就是寻找最能“解释”当前数据的概率分布模型。但是，比如说，一个专攻油画的人也能画一些素描，总不至于因此就认为素描和油画是一样的吧。对于这个具体的例子来说，即便同样是在做 density estimation ，统计分析里可能通常都会假设数据确实是满足某个具体的带参数的分布，从而去研究如何更精确更健壮地估计对应的参数的问题（例如试验设计）；而机器学习则通常不会假设数据的真实分布是符合某个参数的概率模型的，或者甚至完全不做任何限制，而在这样的背景下，普通的最大似然是否真的可行呢？要达到给定的精读需要多少数据点、多少计算量？这些才是机器学习所关心的问题。