从贝叶斯角度看L1及L2正则化

首先写一下为什么会写这个吧,之前在看linUCB的一篇博客的时候,看到了这么一段话:

纳尼!岭回归还可以从贝叶斯角度来得到呢!顿时觉得自己知识面太窄,暴露了自己渣渣的本质。既然知识面窄,那就废话不多说,恶补一波吧!本文涉及到的内容可能有点多,不过只要你能从头到尾读下来,相信你一定能够有所收获!

本文涉及的知识点有: 频率派和贝叶斯学派 概率和似然 拉普拉斯分布和正态分布 极大似然方法求线性回归 贝叶斯角度看L1和L2正则化

1、频率派和贝叶斯学派

频率派 频率派认为需要将推断的参数θ视作未知的定值,而样本X是随机的,其着眼点在样本空间,有关的概率计算都是针对X的分布。频率学派认为参数虽然我们不知道,但是它是固定的,我们要通过随机产生的样本去估计这个参数,所以才有了最大似然估计这些方法。

贝叶斯派 贝叶斯派把参数θ也视作满足某一个分布的随机变量,而样本X是固定的,其着眼点在参数空间,重视参数θ的分布,固定的操作模式是通过参数的先验分布结合样本信息得到参数的后验分布。

贝叶斯学派强调人的先验的作用,即人以往认知的作用。并且通过不断增添新的知识,来更新以往的认知。 举个例子来说:有一个袋子里面装了红球和黑球,在试验致歉,我们已知这个袋子里面是5黑5红的概率是0.8,是10黑5红的概率是0.2,这个概率分布称为先验概率。之后观察者开始新的观测或实验(有放回抽取100次,得到80次黑的,20次红的)。经过中间的独立重复试验,观察者获得了一些新的观测结果,这些新的观测将以含有不确定性的逻辑推断的方式影响观察者原有的认识,即观测者一开始认为袋子里是5黑5红的可能性更大,但是经过了上面的事实之后,修正了原有的认识,认为是10黑5红可能性更大,此时的概率称为后验概率。

2、概率和似然

在我们继续进行下去之前,我们先来弄清楚两个概念:似然(likelihood)和概率(probability)。两者都是对可能性的表示。概率是在给定了一定参数值后,表示了一件事物发生的可能性;而似然则反其道而行之,是在给定了一系列结果后,表示了某一组参数值的可能性。那么最大似然估计的思想,就是在给定了一组结果后哪一组参数的可能性最大;反过来说,就是使用这样一组参数,出现给定结果的可能性最大。

3、拉普拉斯分布和正态分布

拉普拉斯分布 拉普拉斯分布的概率密度函数为:

其中,u为位置参数,b>0是尺度参数。与正态分布相比,正态分布是用相对于u平均值的差的平方来表示,而拉普拉斯概率密度用相对于差的绝对值来表示。因此,拉普拉斯的尾部比正态分布更加平坦。拉普拉斯分布的图像如下图所示:

正态分布 想必大家对正态分布已经很熟悉了,因此这里我只做一个简单的介绍,正态分布又称为高斯分布,其概率密度函数如下图:

正态分布的图像如下图:

4、极大似然法求线性回归

4.1 线性回归回顾

4.2 从极大似然法求解线性回归

可以看到,第一项与Θ无关而且是常数,我们不用考虑,因此想要使上面的式子最大化,我们只需要下面的式子最小化即可,后面的操作就是导数为0啦。因此我们就用极大似然法求解了多元线性回归。

5、贝叶斯角度看L1和L2

兜兜转转这么多,终于到了我们的正题了,打起精神来,革命尚未成功,各位还需努力!

前面提到了,贝叶斯派认为我们要求解的参数是一个随机变量,服从一个概率分布,问题求解变成了在样本已知的情况下,后验概率最大化,即参数Θ最可能的取值,即:

因此上面的式子就变成了:

与上面的方法相比,我们要求解的式子只是多了一个P(Θ),即参数Θ的先验概率分布。

上面的式子可以进一步的化简:

对于第一部分,我们根据刚才利用极大似然求解多元线性回归的思路:

对于第二部分,根据参数Θ的先验概率分布的不同,我们有以下两种情况:

5.1 先验是正态分布

可以看到,如果参数Θ的先验概率分布是正态分布的话,我们可以得到类似于加入L2正则化的多元线性回归的损失函数。

5.2 先验是拉普拉斯分布

可以看到,如果参数Θ的先验概率分布是拉普拉斯分布的话,我们可以得到类似于加入L1正则化的多元线性回归的损失函数。

6、延伸阅读-参数的均值和方差

我们这里来求解一下当Θ的先验概率分布是正态分布时,Θ后验概率分布的均值方差。

6.1 均值

参数的均值即使损失函数最小的Θ的值:

6.2 方差

方差即中间的一项:

这块还没有搞懂。。。欢迎大佬们留言!

参考文章

https://blog.csdn.net/haolexiao/article/details/70243292 https://blog.csdn.net/Cerisier/article/details/78016486

推荐阅读:

推荐系统遇上深度学习系列:

推荐系统遇上深度学习(一)--FM模型理论和实践

推荐系统遇上深度学习(二)--FFM模型理论和实践

推荐系统遇上深度学习(三)--DeepFM模型理论和实践

推荐系统遇上深度学习(四)--多值离散特征的embedding解决方案

推荐系统遇上深度学习(五)--Deep&Cross Network模型理论和实践

推荐系统遇上深度学习(六)--PNN模型理论和实践

推荐系统遇上深度学习(七)--NFM模型理论和实践

推荐系统遇上深度学习(八)--AFM模型理论和实践

推荐系统遇上深度学习(九)--评价指标AUC原理及实践

推荐系统遇上深度学习(十)--GBDT+LR融合方案实战

推荐系统遇上深度学习(十一)--神经协同过滤NCF原理及实战

推荐系统遇上深度学习(十二)--推荐系统中的EE问题及基本Bandit算法

原文发布于微信公众号 - 小小挖掘机(wAIsjwj)

原文发表时间:2018-06-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏目标检测和深度学习

CVPR 2018 | 哈工大提出STRCF:克服遮挡和大幅形变的实时视觉追踪算法

选自arXiv 作者:Feng Li等 机器之心编译 参与:Nurhachu Null、刘晓坤 视觉追踪在多样本的历史追踪结果中学习时,可能遭遇过拟合问题,并在...

3828
来自专栏机器之心

一门面向所有人的人工智能公开课:MIT 6.S191,深度学习入门

选自Medium 机器之心编译 参与:黄小天、李泽南 对初学者来说,有没有易于上手,使用流行神经网络框架进行教学的深度学习课程?近日,麻省理工学院(MIT)正式...

3339
来自专栏PPV课数据科学社区

机器学习、数据挖掘、人工智能、统计模型这么多概念有何差异?

在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么? 这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性,两者...

3747
来自专栏机器之心

业界 | Petuum提出对偶运动生成对抗网络:可合成逼真的视频未来帧和流

2916
来自专栏CDA数据分析师

提问 | 如何利用一批去年的数据,来预测未来三年的数据?

文 | 邹日佳 来自知乎 1、这批去年的数据是按月份的,本身肯定会有波动,但相对稳定。 2、预测未来三年的数据是需要具体到月份。恩 3、请问有什么统计方法可以做...

2189
来自专栏算法channel

机器学习期望最大算法:实例解析

交流思想,注重分析,更注重通过实例让您通俗易懂。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来! 01 —...

4037
来自专栏机器之心

BMVC 2018 | 最佳学生论文:EPFL&FAIR提出QuaterNet,更好地解决人类动作建模问题

对人类动作进行建模对于许多应用都很重要,包括动作识别 [12, 34]、动作检测 [49] 及计算机图形学 [22] 等。最近,神经网络被用于 3D 骨骼关节部...

1141
来自专栏机器之心

专栏 | 阿里 AI LAB ICCV 2017 录用论文详解:语言卷积神经网络应用于图像标题生成的经验学习

3657
来自专栏专知

春节充电系列:李宏毅2017机器学习课程学习笔记01之简介

【导读】春节将近,在亲友相聚之余也不忘给自己充充电。为此,专知内容组给大家带来了台大李宏毅老师的2017年机器学习课程系列学习笔记。今天我们先来看一下该系列课程...

49613
来自专栏机器学习算法与Python学习

精华 | 12个关键词告诉你告诉你什么是机器学习(基础篇)

键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 源 | 小象 随着人工智能(AI)技术...

3575

扫码关注云+社区

领取腾讯云代金券