机器学习-范数正则化:L1正则,L2正则

1 拟合

形象的说,拟合就是把平面上一系列的点,用一条光滑的曲线连接起来。因为这条曲线有无数种可能,从而有各种拟合方法。拟合的曲线一般可以用函数表示,根据这个函数的不同有不同的拟合名字。

2 过拟合

上学考试的时候,有的人采取题海战术,把每个题目都背下来。但是题目稍微一变,他就不会做了。因为他非常复杂的记住了每道题的做法,而没有抽象出通用的规则。 所以过拟合有两种原因:

  1. 训练集和测试机特征分布不一致(白天鹅黑天鹅)
  2. 或者模型太过复杂(记住了每道题)而样本量不足 解决过拟合也从这两方面下手,收集多样化的样本,简化模型,交叉检验。

源自:用简单易懂的语言描述「过拟合 overfitting」?

3 L1范数正则化

L1范数正则化( L1 regularization 或 lasso )是机器学习(machine learning)中重要的手段,在支持向量机(support vector machine)学习过程中,实际是一种对于成本函数(cost function)求解最优的过程,因此,L1范数正则化通过向成本函数中添加L1范数,使得学习得到的结果满足稀疏化(sparsity),从而方便人们提取特征。 L1范数(L1 norm)是指向量中各个元素绝对值之和,也有个美称叫“稀疏规则算子”(Lasso regularization)。

比如 向量:

那么A的L1范数为:

3.1 成本函数的构建原理

例如我们有一个数学模型: y=w0+w1x1+w2x22,其中x是输入,y是输出。

如果我们已知w0,w1,w2,那么我们可以根据任何输入x的值,知道输出y的值。这叫预测(prediction)。

因此,问题进化为,我们手里有很对很多组x对应的y,但是不知道w0,w1,w2!我们想通过测量很多组的x和y,来推断出 w0,w1,w2为多少。

我们将[x1,x2,x3]T记为x,[w0,w1,w2]记为w,那么原式可以写为y=w * [1,x]。 若φ=[1,x],那么y=φ*w,因此我们现在知道φ和y,我们希望通过计算得到w! 由于我们手中的很多组x和y都是通过实验的结果测试出来的。测量的结果就会有误差,因此w不可能计算的精准,那么我们很容易想到使用最小二乘法(least square) 来计算w。 我们构建一个方程,这个方程也是最小二乘法的核心

支持向量机的本质,就是找到一组w,能够让Jemp最小!Jemp因此,就是我们的成本函数。

3.2 用最小二乘法学习的问题

如果我们的问题是’灰箱‘(grey box)(即我们已经知道数学模型,而不知道参数),直接用最小二乘法找到w很简洁的。 如果我们的问题是‘黑箱’(black box) (即 我们既不知道数学模型,也不知道参数),在拟合时,我们就不知道我们需要用几阶的多项式模型来逼近(或者几个核函数来逼近(kernel function),为了简便,不在这里赘述)。那么我们甚至连w的个数都不知道。 我们只能通过尝试和专家经验来猜测阶数。如果我们的阶数猜测多了,就会多出很多冗余的项。我们希望这些冗余项对应的权值w为0,这样我们就知道哪些项是无关的,是冗余的项。 但是只用最小二乘法确定w时,可能所有的w绝对值都极其巨大,这是很正常的现象,但是它使得我们无法剔除无关项,得到的模型也毫无实际意义,模型处于ill-condition状态 (即输入很小的变化,就会引起输出病态的巨大的变化)。 最大复杂度模型+L1正规化(惩罚项) 我们在成本函数中加入L1范数(其实就是惩罚项),成本函数Jtot变为:

其中ρ是我们用来控制L1正规化影响的权重系数。 因此,我们的目标成为了 : 找到一组 w使得Jtot最小!继而使用最小二乘法,完成运算。

3.3 为什么要这样构建成本函数???

如上文所述,监督机器学习问题无非就是“minimize your error while regularizing your parameters”,也就是在规则化参数的同时最小化误差(最小二乘法的原理)。最小化误差是为了让我们的模型拟合我们的训练数据,而规则化参数是防止我们的模型过分拟合我们的训练数据。因为参数太多,会导致我们的模型复杂度上升,容易过拟合,也就是我们的训练误差会很小。但训练误差小并不是我们的最终目标,我们的目标是希望模型的测试误差小,也就是能准确的预测新的样本。所以,我们需要保证模型“简单”的基础上最小化训练误差,这样得到的参数才具有好的泛化性能(也就是测试误差也小),而模型“简单”就是通过规则函数来实现的。另外,规则项的使用还可以约束我们的模型的特性。这样就可以将人对这个模型的先验知识融入到模型的学习当中,强行地让学习到的模型具有人想要的特性,例如稀疏、低秩、平滑等等。

4 L2正则化

L2正则化,又叫Ridge Regression

如下图所示,L2是向量各元素的平方和

5 L1和L2的异同点

相同点:都用于避免过拟合

不同点:L1可以让一部分特征的系数缩小到0,从而间接实现特征选择。所以L1适用于特征之间有关联的情况。L2让所有特征的系数都缩小,但是不会减为0,它会使优化求解稳定快速。所以L2适用于特征之间没有关联的情况

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

干货 | 机器学习算法大总结(ML岗面试常考)

键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 找工作时(IT行业),除了常见的软件...

3676
来自专栏人工智能LeadAI

TensorFlow从0到1 | 第十四章:交叉熵损失函数——防止学习缓慢

通过上一篇 13 驯兽师:神经网络调教综述,对神经网络的调教有了一个整体印象,本篇从学习缓慢这一常见问题入手,根据Michael Nielsen的《Neural...

3697
来自专栏CreateAMind

迁移学习和领域自适应

迁移学习和领域自适应指的是利用一个设定(分布 P1)中已经学到的内容去改 善另一个设定(比如分布 P2)中的泛化情况。这点概括了上一节提出的想法,在无 监督学习...

1041
来自专栏机器之心

入门 | 一文概览深度学习中的卷积结构

3705
来自专栏企鹅号快讯

基于tensorflow的手写数字识别

一、前言 本文主要介绍了tensorflow手写数字识别相关的理论,包括卷积,池化,全连接,梯度下降法。 二、手写数字识别相关理论 2.1 手写数字识别运算方法...

2307
来自专栏CDA数据分析师

【干货】数据挖掘的10大分析方法

1.C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法.C4.5算法继承了ID3算法的优点,并在以下几方面对ID3算法进行了改进...

2058
来自专栏AI研习社

GAN 的理解与 TensorFlow 的实现

前言 本文会从头介绍生成对抗式网络的一些内容,从生成式模型开始说起,到 GAN 的基本原理,InfoGAN,AC-GAN 的基本科普,如果有任何有错误的地方...

3268
来自专栏大数据挖掘DT机器学习

机器学习算法总结(面试用到)

找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据...

3665
来自专栏机器之心

从概率论到多分类问题:综述贝叶斯统计分类

机器之心编译 参与:刘晓坤、路雪 概率论是人类描述宇宙的最基本的工具之一。它与统计分类尤其相关,可推导出大量重要结果,提升人类对外部世界的认知。本文作者 Pet...

3107
来自专栏ACM算法日常

第十一篇:《机器学习之神经网络(五)》

在上一节中,我们谈到了怎样使用反向传播算法计算代价函数的导数。在本节中,我想快速地向你介绍一个细节的实现过程,怎样把你的参数从矩阵展开成向量,以便我们在高级最优...

762

扫码关注云+社区