ISLR_StatisticalLearning

Statistical Learning

why estimate f

  1. 用来预测 预测的时候可以将f̂ \hat{f}当成一个black box来用,目的主要是预测对应x时候的y而不关系它们之间的关系。
  2. 用来推断 推断的时候,f̂ \hat{f}不能是一个black box,因为我们想知道predictorresponse之间的关系,用来做特征提取,关系分析等。

根据目的是预测还是推断或者两者结合选择不同的模型,需要做一下trade off

how estimate f

  1. 参数方法 它将确定了f的形式,将估计p维的f函数降为了对一些参数的估计 先构建参数表达式,然后用参数表达式去训练数据,例如linear regression。 优点是模型和计算简单,缺点是预先确定了f的形式,可能会和真实的f相差较大。
  2. 非参数方法 对f的形式并未做假设,它要求得到的结果与训练集越接近越好,但是保证模型不要太过复杂。 优点是适用于更多的f,能够得到更高的正确率,缺点是因为是无参数估计,所以需要的数据量是很大的。

模型精度和解释的权衡

模型越复杂,对于模型的可解释度越小。

如果需要对模型进行高精度预测的话,比如股票市场,可以采用更flexible的方法。 然而,在股票市场,高精度的方法有时候效果更差,原因是对训练数据产生了过拟合。

监督和非监督学习

注意有 SEMI-SUPERVISED LEARNING的问题

分类和回归问题

注意很多机器学习的方法,既可以应用到回归问题,也可以应用到分类问题。只要qualitative的对象被合适地编码。

Assessing model Accuracy

Measuring quality of fit

模型更flexibilitydegrees of freedom越大。 具体来说,更flexibility,意味着vc维更大,可以shatter的点更多,所以effective points更多, degrees of freedom更大也就是问题的规模更大,模型的选择更多。 模型的选择更多(Hsets更大),这样可以选出训练集MSE最小的点,但是因为VC维的增大,且数据量的有限(VC bound的标准),并不可以保证测试集和训练集的MSE很接近,因此会造成测试集MSE很大,造成过拟合的现象。

解决这个问题,一般采用cross-validation,将训练集的一部分用作测试集,以此来估计EoutE_{out},避免过拟合现象。

bias-variance trade-off

一般来说,测试集的MSE会出现U shapeU shape,是两种因素共同作用的结果: 1. bias和variance 2. vc维增大后的Ein≈0E_{in} \approx 0和Ein≈EoutE_{in} \approx E_{out}

MSE有一个最小值,Var(ϵ)Var(\epsilon)。

variance refers to the amount by which f̂ \hat{f} would change if we estimated it using a different traing data set. 不同的训练集预测出来的ff相差的多少叫做variance,训练集中一个数据的小改变造成f̂ \hat{f}变化很大,那么这个模型的variance就很大。 bias refers to the error that is introduced by approximating a real-life problem. 比如,很多问题不是线性的,如果用线性回归来做,那么与实际问题的关系就会相差很大,这样即使数据量再大也无济于事。

当我们使用更flexible的方法时,会造成bias的下降和variance的上升。通常来说,测试集上的MSE大小取决于两者的变化速度。一般来说,刚开始bias下降的多,MSE下降,后来variance上升的多,造成MSE上升,因此会有U形曲线。

classification setting

bayes classifier

就是一个简单的条件概率分类器,根据不同的xox_o选择概率最大的yy。

理论上,贝叶斯分类器能够选出最小error rate的模型,其错误率表示为

在仿真的数据中,错误率并不是0。因为两种类型的数据有重叠,所以有些点的概率小于1。从这种程度上,bayes error rateirreducible error有相似的地方,都是不能减少的错误。

knn

理论上,我们偏爱贝叶斯分类器去得到最优的模型。 但是实际上,我们并不知道特定点X对应的Y分布,因此不能够直接使用贝叶斯分类器。 但是,有很多方法,可以人工地构造条件概率分布,然后接着使用贝叶斯分类器。

KNN虽然很简单,但是它的error rate却可以很逼近最低的bayes error rate

R

Exercise

当数据中噪声的含量很大,也就是σ2=Var(ϵ)\sigma^2 = Var(\epsilon)很大的时候,应该用更inflexible的方法,因为越flexible的方法越fit噪声,造成variance的提高。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Petrichor的专栏

深度学习: translation invariant (平移不变性)

1303
来自专栏Echo is learning

machine learning 之 logistic regression

651
来自专栏小小挖掘机

整理一份机器学习资料!

本系列主要根据吴恩达老师的课程、李航老师的统计学习方法以及自己平时的学习资料整理!在本文章中,有些地方写的十分简略,不过详细的介绍我都附上了相应的博客链接,大家...

1112
来自专栏贾志刚-OpenCV学堂

VGG卷积神经网络模型解析

一:VGG介绍与模型结构 VGG全称是Visual Geometry Group属于牛津大学科学工程系,其发布了一些列以VGG开头的卷积网络模型,可以应用在人脸...

3814
来自专栏人工智能

深度学习系列教程(八)TensorFlow 中的正则化方法

"玩转TensorFlow与深度学习模型”系列文字教程,本周带来TensorFlow 中的正则化方法! 大家在学习和实操过程中,有任何疑问都可以通过学院微信交流...

24610
来自专栏机器学习算法全栈工程师

如果Boosting 你懂、那 Adaboost你懂么?

作者:崔家华 编辑:王抒伟 转载请注明作者和出处: https://zhuanlan.zhihu.com/ml-jack 机器学习知乎专栏: h...

2885
来自专栏开心的学习之路

神经网络体系搭建(三)——卷积神经网络

本篇是神经网络体系搭建的第三篇,解决体系搭建的卷积神经网络相关问题,详见神经网络体系搭建(序) 卷积神经网络(CNN) ? CNN是什么 卷积神经网络是一种空间...

3428
来自专栏企鹅号快讯

深入机器学习系列8-Gradient-boosted tree

梯度提升树 1 Boosting   是一类将弱学习器提升为强学习器的算法。这类算法的工作机制类似:先从初始训练集中训练出一个基学习器,再根据基学习器的表现对训...

2026
来自专栏ATYUN订阅号

深度学习要点:可视化卷积神经网络

AiTechYun 编辑:yuxiangyu 深度学习中最深入讨论的话题之一是如何解释和理解一个训练完成的模型,尤其是在医疗保健等高风险行业的背景下。“黑盒”这...

80310
来自专栏杨熹的专栏

详解 Stacking 的 python 实现

1. 什么是 stacking stacking 就是当用初始训练数据学习出若干个基学习器后,将这几个学习器的预测结果作为新的训练集,来学习一个新的学习器。 ?...

3278

扫码关注云+社区