【Python深度学习之路】-2.2 过拟合与集成学习

2.3 过拟合

• 计算机对数据进行了过度的学习而产生的状态，简称“过拟合”。
• 避免过拟合的方法：深度学习中会使用“Dropout”的方法，而在常规解决方案中，我们通常会使用“归一化”来消除对存在偏差的数据所造成的影响。
• 在数据模型的状态中，除了过拟合，还存在“欠拟合”，即代表数据没有得到充分学习的状态。另外，我们将产生过拟合问题的模型称为方差过高，而产生欠拟合问题的模型成为偏置过高。

2.4 集成学习

• 集成学习是通过让多个模型进行学习来实现数据的通用化的一种方法。
• 集成学习的两种通用方法：
  • 装袋算法：多个模型同时进行学习，并通过对预测结果取平均值的方式，增强模型预测结果的泛化性能。
  • 提升算法：通过针对模型的预测结果生成相应的模型的方式来提升泛化性能。

2.5 总结：

在实现机器学习的过程中，会出现的一个问题是“过拟合”。“过拟合”是指对数据进行了“过度学习的状态”。我们将出于“过拟合”的状态称为“方差”过高，将出于“欠拟合”的状态称为“偏置”过高。有一种预防“过拟合”的方法被称为留出法。我们通过使用留出法，将学习数据划分为“训练数据”和“测试数据”。训练数据用于模型的学习，测试数据用于对完成学习后的模型进行性能评估。在留出法的派生算法中，包含“k折交叉验证”和“留一交叉验证”等方法。