参数调优与交叉验证

超参数调优是为了使模型在训练集上有较好的表现（降低偏差），而与交叉验证结合使用是为了使模型在训练集与测试集上均有较好的表现（平衡好偏差与方差，既平衡好欠拟合与过拟合）。

一、超参调优1.1调参目标

过拟合（低偏差和高方差）：降低方差

欠拟合（高偏差和低方差）：降低偏差（在模型选择合适的前提下）

1.2二种方法

网络搜索：遍历穷举所有可能的参数组合

只有小数据集可行，比较耗时与耗资源，可找到参数空间的全局最优

随机超参搜索：依据某种分布对参数空间采样，随机地得到一些候选参数组合方案

大数据集也可行，有可能错过全局最优，且利用了子模型技巧的算法可能不会有好的表现（如组合算法AdaBoost和随机森林，决策树等）

贝叶斯优化：根据先验分布学习目标函数形状，后验分布算法给出全局最值最可能出现的位置点，找到使结果向全局最大值提升的参数

机器学习模型有两类参数：一类参数可以从数据中学习估计得到，另一类参数只能靠人的经验进行指定，即超参数。

1.3超参调参思路