拉近似

法国18世纪3L三杰,我们前面介绍了拉格朗日Lagrange(在“一步一步走向锥规划 - QP”有部分介绍)和勒让德Legendre (“Legendre变变变” ), 这次我们介绍点拉普拉斯Laplace,其实前面有谈到过Laplace Smooth(“概率估值的光滑(Smoothing)”)。

老牛吃嫩草的Laplace

Pierre-Simon Laplace 是地地道道的农民出身, 是三L里面活的最短的一位(和Lagrange一样长77岁, Legendre活了80岁),活了77岁。 18岁那年, 本来他爸爸送他去读的是神学。 但是在大学里面被数学教师激发了数学热情, 一发而不可收拾。20岁的时候有幸遇到了Lagrange, 从此一辈子保持了和Lagrange的通信 。可能出生农民, 他一直到39岁才结婚,并且娶了19岁的一个美女, 典型的老牛吃嫩草, 他们有一子一女。

他是3L中利用数学工具水平高的那个人, 也是最高调的那位, 他是拿破仑的老师, 是推测到黑洞的存在和重力崩塌概念的最早一群科学家之一,可能出生农民, 他一生倾向于跟随权贵。

拉普拉斯近似

依然从泰勒说起

在“哈密尔顿,不变的爱”里面, 我们讲述了Taylor Expansion泰勒展开的巨大的意义。 这里依然要利用这个最强的性质:近似性的通用表示 。 不过和拉格朗日量里面用的一阶近似不太一样, 这里用的是二阶近似。

对于一个最高点附近的曲线, 在最高点(stationary point)展开的话, 有如下的表达式成立:

那么这个表达式有什么特点呢?

我们发现这个泰勒近似和正态分布的log函数值有着对应关系。 二阶导数的绝对值(负值)是方差的倒数, 而最高点就是均值点。

这样我们对任意一个概率分布函数, 如果按指数函数表示, 有如下结论:

这样, 我们再把整个过程小结一把,如下:

另外, 对于积分的值, 还有有一个估算, 这个估算在M很大时候成立:

这个定理的证明就不讲述(参考维基百科), 要用到夹逼定理的证明 lim (n) >=1 && lim (n) <= 1而推导出 lim (n) = 1, 但是这个过程中要用到高斯积分, 如下:

有了这个估算, 可以推导斯大林近似(Stirling's approximation)。

我们可以看到Laplace Approximation的强大的地方了 , 但它并不完美。

Laplace 近似 的不足

但是Laplace很明显的是一个过于强化的简化的, 所以近似还是很有距离, 如下图:

那么更为精确的近似是什么呢? 这就是后来出现的Variational Bayes, VB进行近: 它基于分布之间的差异(KL散度), 给出一个严格上界:

而近似完了, 我们得到一个自由能量的部分, 希望以后我们把这里的自由能量和“Legendre变变变” 里面的自由量联系起来。

小结, 我们通过泰勒公式的二阶近似和高斯分布直接的相似性, 推理出Laplace 近似背后的思路, 并且给出了一个对近似密度周围分布的积分的一个近似, 并且利用这个近似给出了斯大林近似的推导。 最后引述了下拉近似的不足, 引出VB近似。 参考:

原文发布于微信公众号 - AI2ML人工智能to机器学习(mloptimization)

原文发表时间:2016-12-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏张红林的专栏

机器学习入门书籍简介

在AIclub看到一篇机器学习入门的文章,回想自己磕磕碰碰走过的弯路,颇有感触,因此对自己从懵懂到稍稍入门过程中看过的教程做一个简单的介绍,希望帮到后来人。

4.4K3
来自专栏企鹅号快讯

数据挖掘中的十大实用分析方法

1.基于历史的MBR分析 基于历史(Memory-Based Reasoning)的MBR分析方法最主要的概念是用已知的案例(case)来预测未来案例的一些属性...

2206
来自专栏数据科学与人工智能

【数据科学家】数据科学家修炼之路

经常有人问我“要成为数据挖掘工程师或者数据科学家应该读什么书?”类似的问题。下面是一份建议书单,同时也是成为数据科学家的指南,当然,这不包括取得合适大学学位的要...

29910
来自专栏小樱的经验随笔

2018年美国大学生数学建模竞赛(MCM/ICM) F题解题思路

任务一:开发价格点,建立综合定价模型。 ? 其中 a 代表开发价格点系数, ? 代表个人财产评估。K 为 PI 交易系数 以这个进行评估,将个人划分为具有合理相...

2945
来自专栏量子位

我一个理科生造的AI,怎么就去做历史高考题了呢?

1042
来自专栏新智元

【黄铁军】“类脑计算”以神经形态器件构造电子大脑

【新智元导读】以类似结构将产生类似功能为假设,“类脑计算”以神经形态器件构造电子大脑,绕过“理解智能”,专注“模拟智能”,或将颠覆现有计算模型并有助于弄清何为“...

34410
来自专栏机器之心

在大家热议Vicarious AI那篇Science论文时,我们和这家公司的CTO聊了聊(回应LeCun批判)

3778
来自专栏大数据文摘

Nature | 我的研究对后人毫无用途:21%的学术论文自发布后从未被引用

2036
来自专栏大数据挖掘DT机器学习

R语言学习路线和常用数据挖掘包

对于初学R语言的人,最常见的方式是:遇到不会的地方,就跑到论坛上吼一嗓子,然后欣然or悲伤的离去,一直到遇到下一个问题再回来。当然,这不是最好的学习方式...

3556
来自专栏挖掘大数据

10种受欢迎的数据挖掘的实用分析方法

数据挖掘又称数据库中的知识发现,是目前人工智能和数据库领域研究的热点问题,本文将介绍数据挖掘中十种实用分析方法。

1965

扫码关注云+社区

领取腾讯云代金券