经验风险最小化与结构风险最小化的区别？
经验风险最小化与结构风险最小化的区别？
提问于 2020-01-20 00:31:03
作为一个独立的话题，我理解了经验风险最小化的含义，并且阅读了关于结构风险最小化的文章，我很难理解两者之间的区别。
我在某个地方读到感知器使用帝王式风险最小化，而支持向量机则使用结构化的。
我知道支持向量机考虑到了模型的复杂性，所以它在一定程度上与结构风险最小化有关。
回答 1
Data Science用户
发布于 2020-01-22 16:00:55
支持向量机是Vapnik (1995,1998)根据统计学习理论中的结构风险最小化原理(Vapnik，1982)发展起来的。
分类或回归函数类的复杂性与算法的泛化性有关。(VC)理论给出了复杂性的一般度量，并证明了误差作为复杂性函数的界。结构风险最小化是这些边界的最小化，这取决于经验风险和函数类的能力。
简单地说：
经验风险最小化(ERM)是统计学习理论中的一个原理，它定义了一类学习算法，并用来给出它们的性能的理论界。核心思想是，我们不能确切地知道一个算法在实践中的效果(真正的“风险”)，因为我们不知道算法将使用的数据的真实分布，但是我们可以用已知的一组培训数据(“经验”风险)来衡量它的性能。
注意，这里的h代表f - ，我们的分类器。这一函数称为经验风险最小化(ERM)。
结构风险最小化(SRM)是机器学习中的一种归纳原理。通常，在机器学习中，必须从有限的数据集中选择一个广义模型，由此产生的过度拟合问题--该模型变得过于适合训练集的特殊性，并且很难推广到新的数据。SRM原则通过平衡模型的复杂性和成功地拟合培训数据来解决这个问题。
这就是所谓的结构风险最小化(SRM)。
哪里,
- J(f)是模型的复杂性，通常是向量空间的界。
- λ≥0是选择惩罚项强度的系数。
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/66729
复制相关文章
相似问题
腾讯云开发者
