ML基石_4_FeasibilityOfLearning

learning is impossible

no free lunch

在对f不知情的情况下，有时候对训练集外的数据，很难说机器学到了什么。

有些情况下没有现成的pattern并不能很好的学习。

这里写图片描述

这里写图片描述

probability to the rescue

用部分去推断总体。

这里写图片描述

部分说明了整体什么信息吗 大部分情况下部分反映了总体的信息

这里写图片描述

数学上的发生几率保证 PAC: probably approximately correct

这里写图片描述

connection to learning

假设有一个固定的h在手上。 由部分推断总体g犯错的几率。

这里写图片描述

公式的保证

这里写图片描述

h(H演算法集中的一小个)可以代表总体，那么g是否可以呢？

这里写图片描述

connection to real learning

如果选择的假设在训练集上表现足够好，那么要选么？

和取样有关。 选择多了，会恶化情况。

这里写图片描述

一个h，不好的几率很小 多个h，不好的几率很大

这里写图片描述

只有像D1126才是好的资料

这里写图片描述

M finite，N large enough，那么学习是可能的。 那么，对于PCA，M是无限的，那么怎么办啊？

总结

这里写图片描述