black box
来用,目的主要是预测对应x时候的y而不关系它们之间的关系。black box
,因为我们想知道predictor
和response
之间的关系,用来做特征提取,关系分析等。根据目的是预测还是推断或者两者结合选择不同的模型,需要做一下trade off
。
linear regression
。
优点是模型和计算简单,缺点是预先确定了f的形式,可能会和真实的f相差较大。模型越复杂,对于模型的可解释度越小。
如果需要对模型进行高精度预测的话,比如股票市场,可以采用更flexible
的方法。
然而,在股票市场,高精度的方法有时候效果更差,原因是对训练数据产生了过拟合。
注意有 SEMI-SUPERVISED LEARNING
的问题
注意很多机器学习的方法,既可以应用到回归问题,也可以应用到分类问题。只要qualitative
的对象被合适地编码。
模型更flexibility
,degrees of freedom
越大。
具体来说,更flexibility
,意味着vc
维更大,可以shatter
的点更多,所以effective points
更多, degrees of freedom
更大也就是问题的规模更大,模型的选择更多。
模型的选择更多(Hsets更大),这样可以选出训练集MSE最小的点,但是因为VC维的增大,且数据量的有限(VC bound的标准),并不可以保证测试集和训练集的MSE很接近,因此会造成测试集MSE很大,造成过拟合的现象。
解决这个问题,一般采用cross-validation
,将训练集的一部分用作测试集,以此来估计EoutE_{out},避免过拟合现象。
一般来说,测试集的MSE会出现U shape
。
U shape
,是两种因素共同作用的结果:
1. bias和variance
2. vc维增大后的Ein≈0E_{in} \approx 0和Ein≈EoutE_{in} \approx E_{out}
MSE有一个最小值,Var(ϵ)Var(\epsilon)。
variance refers to the amount by which f̂ \hat{f} would change if we estimated it using a different traing data set. 不同的训练集预测出来的ff相差的多少叫做variance,训练集中一个数据的小改变造成f̂ \hat{f}变化很大,那么这个模型的variance就很大。 bias refers to the error that is introduced by approximating a real-life problem. 比如,很多问题不是线性的,如果用线性回归来做,那么与实际问题的关系就会相差很大,这样即使数据量再大也无济于事。
当我们使用更flexible
的方法时,会造成bias
的下降和variance
的上升。通常来说,测试集上的MSE大小取决于两者的变化速度。一般来说,刚开始bias
下降的多,MSE下降,后来variance
上升的多,造成MSE上升,因此会有U形曲线。
就是一个简单的条件概率分类器,根据不同的xox_o选择概率最大的yy。
理论上,贝叶斯分类器能够选出最小error rate
的模型,其错误率表示为
在仿真的数据中,错误率并不是0。因为两种类型的数据有重叠,所以有些点的概率小于1。从这种程度上,bayes error rate
和irreducible error
有相似的地方,都是不能减少的错误。
理论上,我们偏爱贝叶斯分类器去得到最优的模型。 但是实际上,我们并不知道特定点X对应的Y分布,因此不能够直接使用贝叶斯分类器。 但是,有很多方法,可以人工地构造条件概率分布,然后接着使用贝叶斯分类器。
KNN虽然很简单,但是它的error rate
却可以很逼近最低的bayes error rate
。
当数据中噪声的含量很大,也就是σ2=Var(ϵ)\sigma^2 = Var(\epsilon)很大的时候,应该用更inflexible
的方法,因为越flexible
的方法越fit
噪声,造成variance
的提高。