PRML系列:1.3 Model Selection

PRML系列:1.3 Model Selection

模型选择

模型选择一般采用交叉验证,本节提到了S-fold cross-validation,原理如下,把数据集D随机划分成S份,其中S-1份用来训练模型,1份用来验证模型的效果。这样,一方面能充分利用所给数据集的几乎全部有用信息,另外一方面,可以有效避免过拟合现象的发生。

当S取数据集个数N时,这种技术叫做留一法,在样本稀缺的情况下尤其有用。

缺点:

  1. 随着S的增大,模型训练时间也增大,毕竟要训练S次,得到S个模型,在模型本身比较耗时的情况下,时间复杂度相当高。
  2. 对于单一模型,如果自身需要手动调节多个参数,如若干个正则化参数。在最坏情况下,探索这些参数的组合需要的训练次数可能是参数个数的指数函数。

针对第二个缺点,比如给定多项式拟合函数的阶数M和正则化系数λ\lambda, M可选择9种,λ\lambda可选择5种,那么自然有9 x 5 = 45种选择,随着需要手动调节参数的增多,训练次数也会指数上升。

这些参数的共同特点是,模型不能自动学得,需要手动调节,我们称为超参数。理想情况下,模型选择应该只依赖于训练数据,并且应该允许在一轮训练中对比多个超参数以及模型类型。因此,我们需要找到一种模型表现的度量,它只依赖于训练数据,并且不会由于过拟合产生偏移的问题。

文中提出了针对似然函数的一种”信息准则”,Akaike information criterion, 简称AIC,选择下面使这个量最大的模型:

不过令我好奇的是,是有特定的算法能够通过验证集能够自动选择最优模型么?书中暂未提到。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏企鹅号快讯

机器学习之白话adaboost元算法

阅读本文大约需要5分钟 作为(曾)被认为两大最好的监督分类算法之一的adaboost元算法(另一个为前几节介绍过的SVM算法),该算法以其简单的思想解决复杂的分...

1826
来自专栏小巫技术博客

深度学习的一些概念分享

632
来自专栏小鹏的专栏

反向传播与它的直观理解

为了感谢大神,我是跪在电脑前fork的。 问题描述与动机: 大家都知道的,其实我们就是在给定的图像像素向量x和对应的函数f(x),然后我们希望能够计算f在...

1799
来自专栏深度学习之tensorflow实战篇

基于gensim的Doc2Vec简析,以及用python 实现简要代码

Doc2Vec 原理: Doc2Vec 或者叫做 paragraph2vec, sentence embeddings,是一种非监督式算法,可以获得sent...

1K4
来自专栏数说工作室

【分类战车SVM】第三话:最大间隔分类器

分类战车SVM (第三话:最大间隔分类器) 1.回顾 前面说到,线性分类器就是找一个平面,能最好的区分不同类别的样本,logistic模型找的那个超平面,是尽...

2573
来自专栏应兆康的专栏

21. 关于偏差和方差的实例

思考我们的猫咪分类器。一个理想的分类器(如:人为分类)会在这个任务中有着完美的表现。

32710
来自专栏老秦求学

Keras实现风格迁移

风格迁移算法经历多次定义和更新,现在应用在许多智能手机APP上。 风格迁移在保留目标图片内容的基础上,将图片风格引用在目标图片上。

1444
来自专栏数据科学与人工智能

【数据挖掘】主题模型——LDA比较通俗的介绍

一、主题模型 要介绍LDA,首先说说主题模型(Topic Model)的概念。主题模型是一种生成式模型,而且是通过主题来生成的。就是说,我们认为...

2778
来自专栏斜述视角

自然语言处理 | 隐马尔可夫模型(1)

马尔可夫链(Markov chain),又称离散时间马尔可夫链,因俄国数学家安德烈·马尔可夫得名,为状态空间中经过从一个状态到另一个状态转换的随机过程。该过程要...

884
来自专栏企鹅号快讯

机器学习三人行-支持向量机实践指南

关注公众号“智能算法”即可一起学习整个系列的文章。 文末查看本文代码关键字,公众号回复关键字下载代码。 其实逻辑回归算法和今天要讲的支持向量机有些类似,他们都是...

1839

扫码关注云+社区