【机器学习】参数和非参数机器学习算法

什么是参数机器学习算法并且它与非参数机器学习算法有什么不同?

本文中你将了解到参数和非参数机器学习算法的区别。

让我们开始吧。

学习函数

机器学习可以总结为学习一个函数(f)(f),其将输入变量(X)(X)映射为输出变量(Y)(Y)。

Y=f(x)Y=f(x)

算法从训练数据中学习这个映射函数。

函数的形式未知,于是我们机器学习从业者的任务是评估不同的机器学习算法,然后选择好的能拟合潜在的目标函数的算法。

不同的算法对目标函数的形式和学习的方式有不同的估计和偏差。

参数机器学习算法

假设可以极大地简化学习过程,但是同样可以限制学习的内容。简化目标函数为已知形式的算法就称为参数机器学习算法。

通过固定大小的参数集(与训练样本数独立)概况数据的学习模型称为参数模型。不管你给与一个参数模型多少数据,对于其需要的参数数量都没有影响。 — Artificial Intelligence: A Modern Approach,737页

参数算法包括两部分:

选择目标函数的形式。 从训练数据中学习目标函数的系数。

对于理解目标函数来讲,最简单的就是直线了,这就是线性回归里面采用的形式:

b_0+b_1<em>x_1+b_2</em>x_2=0b0+b1<em>x1+b2</em>x2=0

其中b_0b0、b_1b1和b_2b2是直线的系数,其影响直线的斜度和截距,x_1x1和x_2x2是两个输入变量。

把目标函数的形式假设为直线极大地简化了学习过程。那么现在,我们需要做的是估计直线的系数并且对于这个问题预测模型。

通常来说,目标函数的形式假设是对于输入变量的线性联合,于是参数机器学习算法通常被称为“线性机器学习算法”。

那么问题是,实际的未知的目标函数可能不是线性函数。它可能接近于直线而需要一些微小的调节。或者目标函数也可能完全和直线没有关联,那么我们做的假设是错误的,我们所做的近似就会导致差劲的预测结果。

参数机器学习算法包括:

  • 逻辑回归
  • 线性成分分析
  • 感知机

参数机器学习算法有如下优点:

  • 简洁:理论容易理解和解释结果
  • 快速:参数模型学习和训练的速度都很快
  • 数据更少:通常不需要大量的数据,在对数据的拟合不很好时表现也不错

参数机器学习算法的局限性:

  • 约束:以选定函数形式的方式来学习本身就限制了模型
  • 有限的复杂度:通常只能应对简单的问题
  • 拟合度小:实际中通常无法和潜在的目标函数吻合

非参数机器学习算法

对于目标函数形式不作过多的假设的算法称为非参数机器学习算法。通过不做假设,算法可以自由的从训练数据中学习任意形式的函数。

当你拥有许多数据而先验知识很少时,非参数学习通常很有用,此时你不需要关注于参数的选取。 — Artificial Intelligence: A Modern Approach,757页

非参数理论寻求在构造目标函数的过程中对训练数据作最好的拟合,同时维持一些泛化到未知数据的能力。同样的,它们可以拟合各自形式的函数。

对于理解非参数模型的一个好例子是k近邻算法,其目标是基于k个最相近的模式对新的数据做预测。这种理论对于目标函数的形式,除了相似模式的数目以外不作任何假设。

一些非参数机器学习算法的例子包括:

  • 决策树,例如CART和C4.5
  • 朴素贝叶斯
  • 支持向量机
  • 神经网络

非参数机器学习算法的优势:

  • 可变性:可以拟合许多不同的函数形式。
  • 模型强大:对于目标函数不作假设或者作微小的假设
  • 表现良好:对于预测表现可以非常好。

非参数机器学习算法局限性:

  • 需要更多数据:对于拟合目标函数需要更多的训练数据
  • 速度慢:因为需要训练更多的参数,训练过程通常比较慢。
  • 过拟合:有更高的风险发生过拟合,对于预测也比较难以解释。

延伸阅读

对于参数和非参数机器学习算法的不同以下是一些资源。

书籍

An Introduction to Statistical Learning: with Applications in R,章节2 Artificial Intelligence: A Modern Approach,章节18

网页

机器学习中使用非参数理论的好处是什么? Quora 机器学习中使用非参数理论的缺点是什么? Quora 非参数统计 维基百科 参数统计维基百科 参数vs非参数 StackExchange

总结

本文中你了解到了参数和非参数机器学习算法的不同之处。

你学习到,参数理论对于映射函数做很多的假设,这使得模型易于训练,需要的数据量少,同时也使得模型能力有限。

非参数理论对于目标函数的形式不作过多的假设,这使得模型需要更多的数据来训练,并且模型拥有高复杂度,同时也使得模型能力很强。

关于参数和非参数机器学习算法,你有什么问题吗?欢迎留下评论,我将竭力解答。

关于偏差、方差和偏差-方差的权衡,你有什么问题吗?欢迎留下评论,我将竭力解答。

原文链接:[Parametric and Nonparametric Machine Learning Algorithms(http://machinelearningmastery.com/parametric-and-nonparametric-machine-learning-algorithms/ “Parametric and Nonparametric Machine Learning Algorithms”)

原文发布于微信公众号 - 数据科学与人工智能(DS_AI_shujuren)

原文发表时间:2016-05-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏计算机视觉战队

每日一学——线性分类笔记(下)

Softmax分类器 SVM是最常用的两个分类器之一,而另一个就是Softmax分类器,它的损失函数与SVM的损失函数不同。对于学习过二元逻辑回归分类器的读者来...

4227
来自专栏AI星球

逻辑回归(LR)个人学习总结篇

逻辑回归(LR,Logistic Regression)是传统机器学习中的一种分类模型,由于LR算法具有简单、高效、易于并行且在线学习(动态扩展)的特点,在工业...

8714
来自专栏智能算法

逻辑回归(LR)算法

一、算法介绍 Logistic regression (逻辑回归)是一种非线性回归模型,特征数据可以是连续的,也可以是分类变量和哑变量,是当前业界比较常用的机...

38913
来自专栏老秦求学

Deep Learning Tutorial 李宏毅(一)深度学习介绍

大纲 深度学习介绍 深度学习训练的技巧 神经网络的变体 展望 深度学习介绍 深度学习介绍 深度学习属于机器学习的一种。介绍深度学习之前,我们先大致了解一下机器学...

44810
来自专栏新智元

Reddit热文:MIT\北大\CMU合作, 找到深度神经网络全局最优解

在目标函数非凸的情况下,梯度下降在训练深度神经网络中也能够找到全局最小值。本文证明,对于具有残差连接的超参数化的深度神经网络(ResNet),采用梯度下降可以在...

873
来自专栏张俊红

决策树详解

总第79篇 01|背景: 我们在日常生活中经常会遇到一些选择需要去做一些选择,比如我们在找工作的时候每个人都希望能找到一个好的工作,但是公司那么多,工作种类那么...

3575
来自专栏SIGAI学习与实践平台

深度多目标跟踪算法综述

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

4272
来自专栏机器学习算法与Python学习

最小二乘支持向量回归机(LS-SVR)

前面连续的七篇文章已经详细的介绍了支持向量机在二分类中的公式推导,以及如何求解对偶问题和二次规划这个问题,分类的应用有很多,如电子邮箱将邮件进行垃圾邮件与正常邮...

6919
来自专栏小樱的经验随笔

回归与梯度下降法及实现原理

回归与梯度下降 回归在数学上来说是给定一个点集,能够用一条曲线去拟合之,如果这个曲线是一条直线,那就被称为线性回归,如果曲线是一条二次曲线,就被称为二次回归,回...

3926
来自专栏李智的专栏

PRML笔记

其中,除以NN让我们能够以相同的基础对比不同大小的数据集,平方根确保了ERMSE_{RMS}与目标变量tt使用相同的规模和单位进行度量。

902

扫码关注云+社区

领取腾讯云代金券