ISLR_StatisticalLearning

Statistical Learning

why estimate f

  1. 用来预测 预测的时候可以将f̂ \hat{f}当成一个black box来用,目的主要是预测对应x时候的y而不关系它们之间的关系。
  2. 用来推断 推断的时候,f̂ \hat{f}不能是一个black box,因为我们想知道predictorresponse之间的关系,用来做特征提取,关系分析等。

根据目的是预测还是推断或者两者结合选择不同的模型,需要做一下trade off

how estimate f

  1. 参数方法 它将确定了f的形式,将估计p维的f函数降为了对一些参数的估计 先构建参数表达式,然后用参数表达式去训练数据,例如linear regression。 优点是模型和计算简单,缺点是预先确定了f的形式,可能会和真实的f相差较大。
  2. 非参数方法 对f的形式并未做假设,它要求得到的结果与训练集越接近越好,但是保证模型不要太过复杂。 优点是适用于更多的f,能够得到更高的正确率,缺点是因为是无参数估计,所以需要的数据量是很大的。

模型精度和解释的权衡

模型越复杂,对于模型的可解释度越小。

如果需要对模型进行高精度预测的话,比如股票市场,可以采用更flexible的方法。 然而,在股票市场,高精度的方法有时候效果更差,原因是对训练数据产生了过拟合。

监督和非监督学习

注意有 SEMI-SUPERVISED LEARNING的问题

分类和回归问题

注意很多机器学习的方法,既可以应用到回归问题,也可以应用到分类问题。只要qualitative的对象被合适地编码。

Assessing model Accuracy

Measuring quality of fit

模型更flexibilitydegrees of freedom越大。 具体来说,更flexibility,意味着vc维更大,可以shatter的点更多,所以effective points更多, degrees of freedom更大也就是问题的规模更大,模型的选择更多。 模型的选择更多(Hsets更大),这样可以选出训练集MSE最小的点,但是因为VC维的增大,且数据量的有限(VC bound的标准),并不可以保证测试集和训练集的MSE很接近,因此会造成测试集MSE很大,造成过拟合的现象。

解决这个问题,一般采用cross-validation,将训练集的一部分用作测试集,以此来估计EoutE_{out},避免过拟合现象。

bias-variance trade-off

一般来说,测试集的MSE会出现U shapeU shape,是两种因素共同作用的结果: 1. bias和variance 2. vc维增大后的Ein≈0E_{in} \approx 0和Ein≈EoutE_{in} \approx E_{out}

MSE有一个最小值,Var(ϵ)Var(\epsilon)。

variance refers to the amount by which f̂ \hat{f} would change if we estimated it using a different traing data set. 不同的训练集预测出来的ff相差的多少叫做variance,训练集中一个数据的小改变造成f̂ \hat{f}变化很大,那么这个模型的variance就很大。 bias refers to the error that is introduced by approximating a real-life problem. 比如,很多问题不是线性的,如果用线性回归来做,那么与实际问题的关系就会相差很大,这样即使数据量再大也无济于事。

当我们使用更flexible的方法时,会造成bias的下降和variance的上升。通常来说,测试集上的MSE大小取决于两者的变化速度。一般来说,刚开始bias下降的多,MSE下降,后来variance上升的多,造成MSE上升,因此会有U形曲线。

classification setting

bayes classifier

就是一个简单的条件概率分类器,根据不同的xox_o选择概率最大的yy。

理论上,贝叶斯分类器能够选出最小error rate的模型,其错误率表示为

在仿真的数据中,错误率并不是0。因为两种类型的数据有重叠,所以有些点的概率小于1。从这种程度上,bayes error rateirreducible error有相似的地方,都是不能减少的错误。

knn

理论上,我们偏爱贝叶斯分类器去得到最优的模型。 但是实际上,我们并不知道特定点X对应的Y分布,因此不能够直接使用贝叶斯分类器。 但是,有很多方法,可以人工地构造条件概率分布,然后接着使用贝叶斯分类器。

KNN虽然很简单,但是它的error rate却可以很逼近最低的bayes error rate

R

Exercise

当数据中噪声的含量很大,也就是σ2=Var(ϵ)\sigma^2 = Var(\epsilon)很大的时候,应该用更inflexible的方法,因为越flexible的方法越fit噪声,造成variance的提高。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏技术翻译

用数学方法解密神经网络

在本文中,我们将讨论简单神经网络背后的数学概念。其主要目的是说明在建立我们自己的人工智能模型时,数学是如何发挥巨大作用的。

460
来自专栏用户2442861的专栏

卷积神经网络全面解析

最近仔细学习了一下卷积神经网络(CNN,Convolutional Neural Network),发现各处资料都不是很全面,经过艰苦努力终于弄清楚了。为了以后...

441
来自专栏人工智能

从零开始教你训练神经网络

来源:机器之心 作者:Vitaly Bushaev 本文长度为8900字,建议阅读15分钟 本文从神经网络简单的数学定义开始,沿着损失函数、激活函数和反向传播等...

2759
来自专栏专知

【干货】走进神经网络:直观地了解神经网络工作机制

【导读】1月4日,Mateusz Dziubek发布了一篇基础的介绍神经网络的博文,作者用一种直观的方法来解释神经网络以及其学习过程,作者首先探讨了导致神经网络...

35513
来自专栏杨熹的专栏

详解循环神经网络(Recurrent Neural Network)

今天的学习资料是这篇文章,写的非常详细,有理论有代码,本文是补充一些小细节,可以二者结合看效果更好: https://zybuluo.com/hanbingt...

3506
来自专栏奇点大数据

卷积神经网络对图片分类-上

我们来看看在图像处理领域如何使用卷积神经网络来对图片进行分类。 1 让计算机做图片分类: 图片分类就是输入一张图片,输出该图片对应的类别(狗,猫,船,鸟),或者...

3268
来自专栏ml

关于梯度下降算法的的一些总结

目录:  1. 前言  2. 正文   2.1 梯度      2.2 梯度下降算法          2.2.1 批量梯度下降算法          2.2....

33111
来自专栏机器之心

机器之心GitHub项目:GAN完整理论推导与实现,Perfect!

机器之心原创 作者:蒋思源 本文是机器之心第二个 GitHub 实现项目,上一个 GitHub 实现项目为从头开始构建卷积神经网络。在本文中,我们将从原论文出发...

3789
来自专栏人工智能LeadAI

计算机视觉任务:图像梯度和图像完成

该笔记是以斯坦福cs231n课程的python编程任务为主线,展开对该课程主要内容的理解和部分数学推导。这篇文章是关于计算机视觉处理的,分为两篇文章撰写完成。此...

3547
来自专栏杨熹的专栏

Logistic Regression 为什么用极大似然函数

1902

扫码关注云+社区