Loading [MathJax]/jax/output/CommonHTML/config.js

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >机器学习数学笔记|极大似然估计

机器学习数学笔记|极大似然估计

作者头像

演化计算与人工智能

发布于 2020-08-14 03:18:19

发布于 2020-08-14 03:18:19

5210

举报

文章被收录于专栏：人工智能与演化计算成长与进阶人工智能与演化计算成长与进阶

极大似然估计

假设 D 是样本集合,A 是参数集合,我们在 D 样本集固定的情况下,A 取何值时,P(A|D)能取到最大.

我们现在的主要目的是求 1 式的最大值,其中 1 式通过贝叶斯公式能转换为 2 式的形式,其中 2 式的分母相同,我们只需要考虑分子即可--即 3 式,又因为

P(A_{i})

近似相等.所以我们可以将 3 式中

P(A_{i})

去掉,直接考虑 4 式的最大值.

最后我们得到 5 式,这相当于是一种颠倒原因结果的式子.

定义

二项分布中的极大似然估计

高斯分布中的极大似然估计

参考资料

[1]

课程传送门: http://www.julyedu.com/video/play/38

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2020-05-03，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 DrawSky 微信公众号，前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

鹅厂写码13年，我总结的程序员高效阅读方法论

进程，线程，协程 - 你了解多少？

微服务与分布式系统设计看这篇就够了！

腾讯文档表格卡顿指标探索之路

从Hadoop1.0到Hadoop2.0架构的优化和发展探索详解

微服务架构：由浅入深带你了解底层注册中心

机器学习之从极大似然估计到最大熵原理以及EM算法详解

机器学习编程算法 scikit-learn

极大似然估计是建立在极大似然原理的基础上的一个统计方法，极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，... ，若在一次试验中，结果A出现了，那么可以认为实验条件对A的出现有利，也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球，1个黑球；乙箱中有1个白球．99个黑球。现随机取出一箱，再从抽取的一箱中随机取出一球，结果是黑球，这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多，这时我们自然更多地相信这个黑球是取自乙箱的。一般说来，事件A发生的概率与某一未知参数 \theta 有关， \theta 取值不同，则事件A发生的概率P(A|\theta )也不同，当我们在一次试验中事件A发生了，则认为此时的\theta 值应是t的一切可能取值中使P(A|\theta )达到最大的那一个，极大似然估计法就是要选取这样的t值作为参数t的估计值，使所选取的样本在被选的总体中出现的可能性为最大。

大黄大黄大黄

2018/04/01

3.1K17

机器学习之从极大似然估计到最大熵原理以及EM算法详解

概率论之概念解析：极大似然估计

编程算法人工智能

【导读】本文是数据科学家Jonny Brooks-Bartlett概率论基础概念系列博客中的“极大似然估计”一章，主要讲解了极大似然估计的若干概念。分别介绍了参数、直观理解极大似然估计、极大似然估计计

WZEARW

2018/04/12

1.7K0

概率论之概念解析：极大似然估计

机器学习之从极大似然估计到最大熵原理以及EM算法详解

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/article/details/78774972

大黄大黄大黄

2018/09/14

1.5K0

机器学习之从极大似然估计到最大熵原理以及EM算法详解

极大似然估计法的理解指南

编程算法机器学习神经网络深度学习人工智能

极大似然估计是 1821 年由高斯提出，1912 年由费希尔完善的一种点估计方法。

用户1737318

2019/04/30

1.6K0

机器学习（十八）极大似然估计

极大似然估计是在总体类型已知条件下使用的一种参数估计方法。它首先是由德国数学家高斯在1821年提出的,

致Great

2019/06/18

1.6K0

极大似然估计（MLE）和最大后验概率估计（MAP）

极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

为为为什么

2022/08/05

1K0

极大似然估计（MLE）和最大后验概率估计（MAP）

【生成模型】极大似然估计，你必须掌握的概率模型

上一期为大家说明了什么是无监督生成模型。在无监督生成模型中，极大似然法一直扮演着非常核心的位置，我们必须对它有深刻的理解，本期小米粥将为大家讲一下极大似然法的那些事情。

用户1508658

2020/11/11

1.2K0

【生成模型】极大似然估计，你必须掌握的概率模型

极大似然估计和贝叶斯估计的联系(似然估计和最大似然估计)

机器学习神经网络深度学习人工智能

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice 欢迎大家star，留言，一起学习进步

全栈程序员站长

2022/07/25

9370

极大似然估计和贝叶斯估计的联系(似然估计和最大似然估计)

从最大似然到EM算法浅解「建议收藏」

机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界上，还吸引了那么多世人的目光。

全栈程序员站长

2022/06/27

4080

从最大似然到EM算法浅解「建议收藏」

用Python实现极大似然估计

python 人工智能编程算法

极大似然估计（Maximum likelihood estimation, 简称MLE）是很常用的参数估计方法，极大似然原理的直观想法是，一个随机试验如有若干个可能的结果A，B，C，... ，若在一次试验中，结果A出现了，那么可以认为实验条件对A的出现有利，也即出现的概率P(A)较大。也就是说，如果已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值（请参见“百度百科”）。

小小科

2018/08/17

7.3K0

用Python实现极大似然估计

详细解释EM推导过程

编程算法 nat

1 最大似然概率例子是说测量校园里面同学的身高分布，分为男生和女生，分别抽取100个人...具体的不细讲了，参考文档中讲得很详细。假设他们的身高是服从高斯分布的。但是这个分布的均值u和方差∂2我们不知道，这两个参数就是我们要估计的。记作θ=[u, ∂]T。我们独立地按照概率密度p(x|θ)抽取100了个（身高），组成样本集X，我们想通过样本集X来估计出未知参数θ。这里概率密度p(x|θ)我们假设是是高斯分布N(u,∂)的形式，其中的未知参数是θ=[u, ∂]T。抽到的样本集是X={x

机器学习AI算法工程

2018/03/14

1.6K0

数据挖掘领域十大经典算法之—EM算法

例子是说测量校园里面同学的身高分布，分为男生和女生，分别抽取100个人...具体的不细讲了，参考文档中讲得很详细。假设他们的身高是服从高斯分布的。但是这个分布的均值u和方差2我们不知道，这两个参数就是我们要估计的。记作θ=[u, ]T。

1480

2019/05/21

6070

极大似然估计与最大后验概率估计

编程算法机器学习神经网络深度学习人工智能

不知看过多少次极大似然估计与最大后验概率估计的区别，但还是傻傻分不清楚。或是当时道行太浅，或是当时积累不够。

张小磊

2019/08/16

1.6K0

极大似然估计与最大后验概率估计

简述极大似然估计

编程算法大数据

极大似然估计是一种参数估计的方法。先验概率是知因求果，后验概率是知果求因，极大似然是知果求最可能的原因。即它的核心思想是：找到参数 θ 的一个估计值，使得当前样本出现的可能性最大。例如，当其他条件一样时，抽烟者患肺癌的概率是不抽烟者的 5 倍，那么当我们已知现在有个人是肺癌患者，问这个人是抽烟还是不抽烟？大多数人都会选择抽烟，因为这个答案是“最有可能”得到“肺癌”这样的结果。 ---- 为什么要有参数估计当模型已定，但是参数未知时。例如我们知道全国人民的身高服从正态分布，这样就可以通过

杨熹

2018/04/03

9770

深度学习笔记系列（三）：极大似然估计

极大似然估计方法（Maximum Likelihood Estimate，MLE）也称为最大概似估计或最大似然估计，其作用是通过采样的样本分布去估计整个数据中的某些参数。

linhw

2020/04/26

1.3K0

2000字详解：极大似然估计, 最大后验概率估计

统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数为L(θ|x)，似然函数在数值上等价与给定θ后的

double

2018/07/31

1.9K0

一篇文章完全弄懂Logistic回归（含极大似然估计详细推导和实现代码）

在学习线性回归的时候，我们已经理解了什么是回归，回归就是确定变量之间相互依赖的定量关系的统计学方法。那么同样，在开始学习Logistic回归模型前，我们先来看看什么是分类问题。

可爱见见

2020/06/10

14.5K0

最大似然概率估计和朴素贝叶斯分类

机器学习神经网络深度学习人工智能编程算法

极大似然估计和朴素贝叶斯都是运用概率的思想对参数进行估计去解决问题的，二者具有一定的相似性，在初学时经常会搞不清二者的，在这里首先对二者的分类原理进行介绍，然后比较一下二者的异同点。

冬夜先生

2021/09/08

1.2K0

一文读懂矩估计、极大似然估计和贝叶斯估计

机器学习神经网络深度学习人工智能

所谓参数估计，就是已知随机变量服从某个分布规律，但是概率分布函数的有些参数未知，那么可以通过随机变量的采样样本来估计相应参数。

lyhue1991

2020/08/11

4.6K1

机器学习 | 朴素贝叶斯理论

机器学习神经网络深度学习人工智能编程算法

朴素贝叶斯法是一种直接衡量标签和特征之间的概率关系的有监督学习算法，是一种专注分类的算法。

数据STUDIO

2021/06/24

5470

相关推荐

机器学习之从极大似然估计到最大熵原理以及EM算法详解

更多 >

演化计算与人工智能0

LV.1

WUST计算机博士

作者相关精选

换一批

目录

极大似然估计

定义

二项分布中的极大似然估计

高斯分布中的极大似然估计
- 参考资料

加入讨论

的问答专区 >

1KOL擅长5个领域

相关课程

一站式学习中心 >

轻量应用构建训练营

轻量应用服务器

TDSQL for MySQL训练营

云数据库 MySQL

TDSQL MySQL 版

分布式数据库 TDSQL