Rademacher复杂度

统计机器学习之Rademacher复杂度。

请参见blog链接：

该blog主要介绍了Global Rademacher复杂度，Local Rademacher复杂度，以及提供了两个计算可方法的Rademacher复杂度实例。

事实上，要实现精确计算是很难的，因此通常是去估计一个复杂度的upper bound, 然后再考虑减少这个bound。在小样本上，一般误差比较大，当样本在足够多事，样本均值是逼近期望的，因此误差会比较小。

这些界只是针对所有感兴趣的一些假设笼而统之的分析了，但实际中，在不同的数据上，模型的表型是不仅相同的，原因在于这些分析知识集中在统计层面，但样本的表示（是否含噪音）、几何结构等都会对分类性能产生很大影响，这也就是统计机器学习的固有弊病。

当前的机器学习几乎可以划定在统计学范畴而已。尽管现在深度学习如火如荼的发展，但是它缺乏可解释性，很难给实际决策提供可靠性，在硬件（主要是GPU）发展起来以后，由于它在众多任务中表现良好(如围棋、语音识别等)，深度学习这一技术逐渐被大家接受并流行起来。真正要实现智能是需要很长的路要走。