这种学习算法在无限的解空间里通过有限步的迭代最终找到了最优解,求解过程并不是无限次的使用每种可能进行尝试,而是有目的性的优化.找准优化方向是根本,只有方向正确,最终一定能找到....有限的训练数据集为什么能从中学到整个数据集上的通用信息???或者说为什么有限集上学到的模型能在未知数据上应用?难道不会出错吗?...如果可以,那么机器学习就可行,能在有限集D上学到的知识是全局的,具有普世性[迁移性];如果不能揭示全局信息,机器学习就没有意义....我们考虑多个假设的假设空间H,设定H的有限的:
H=h1,h2,...,hMH={h_1,h_2,...,h_M}H=h1,h2,...,hM....这种联合式的估计比单个模型上界更大,而且只有在假设空间H有限时才有意义,也就是说M的有限的.