最大似然函数最大似然原理小结:最大似然估计法的一般步骤:例子:

极大似然估计法是基于极大似然原理提出的,为了说明极大似然原理,我们先看个例子

例子: 1、某同学与一位猎人一起外出打猎。忽然,一只野兔从前方窜过,只听一声枪响,野兔应声倒下,若你推测一下,是谁击中了野兔,你会怎样想 2、有一时间A,我们知道它发生的概率p只可能是:

                            p=0.1,0.3或0.6

若在一次观测中,事件A发生了,试让你推想一下p取何值

最大似然原理

概率大的事件在一次观测中更容易发生; 在一次观测中发生了的事件其概率应该大

(1)若总体X属于离散型,其分布律

的形式为已知,θ为待估参数,Θ是θ可能取值的范围。

X1,...,Xn是来自X的样本;则X1,...,Xn的联合函数

又设x1,...,xnX1,...,Xn的一个样本值,易知样本X1,...,Xnx1,...,xn的概率,亦即事件{X1=x1,...,Xn=xn}发生的概率为:

它是θ的函数,L(θ)称为样本的似然函数。

由极大似然估计法:x1,...,xn;挑选使概率L(x1,...,xn;θ)达到最大的参数,作为θ的估计值即取

使得

&\hatθ与x1,...,xn有关,记为

称其为参数θ的最大似然估计值

称为参数θ的最大似然估计量

(2)若总体X属连续型,其概率密度

的形式已知,θ为待估参数

则X1,...,Xn的联合密度

的最大值,这里L(θ)称为样本的似然函数,若

则称

为θ的最大似然估计值,称

为θ的最大似然估计值

一般,p(x;θ),f(x;θ)关于θ可微,故θ可由下式求得

又因L与lnL在同一θ处取到极值,因此最大似然估计θ也可从下述方程解得:

若总体分布中包含多参数,即可令

解k个方程组求的θ的最大似然估计值

小结:最大似然估计法的一般步骤:

  • **写似然函数L **
  • 取对数
  • 求导数,得驻点,最大值点
  • 作结论

例子:

设总体X服从参数为\lamda的指数分布,(x1,x2,...,xn)为样本观察值,求\lamda的最大似然估计值 解:总体X的概率密度函数为:

设总体X分布律为:

求参数p的最大似然估计量

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SIGAI学习与实践平台

随机森林概述

在SIGAI之前的公众号文章“大话AdaBoost算法”中我们介绍了集成学习的思想以及Boosting算法,今天的文章中我们将为大家介绍另外一种集成学习算法-随...

19120
来自专栏AI科技评论

学界 | ACL论文精彩论文演讲:simGAN+domain tag训练出表现优异的半监督问答模型(图文全文)

AI 科技评论按:虽然ACL 2017已经落下帷幕,但对精彩论文的解读还在继续。下面是 AI 科技评论在ACL现场记录的Zhilin Yang的报告。Zhili...

34740
来自专栏数说工作室

留一交叉验证及SAS代码

在数据量很少,用什么模型?(点击查看)中,我们总结过当数据量很少时如何选择模型和方法,以使得数据能够最大限度的得到利用。 其中有一个方法就是做交叉验证。 我有备...

39260
来自专栏CVer

[计算机视觉论文速递] ECCV 2018 专场10

OK!计算机视觉论文速递系列正式重启,CVer将两/三天更新一次速递推文,如果时间充足,会做到每日一更。

16660
来自专栏SIGAI学习与实践平台

自然场景文本检测识别技术综述

番外 青蛇: 姐, 图像文本检测和识别领域现在的研究热点是什么? 白蛇: 白纸黑字的扫描文档识别技术已经很成熟,而自然场景图像文本识别的效果还不理想。倾斜字、艺...

2.6K20
来自专栏大数据挖掘DT机器学习

机器分类方法如何用在医学诊断案例——基于R的实现

1.引言 随着统计科学的日益发展,其对其他学科的渗透作用日益增强,数据分析方法在医学、生物学、社会学等各个学科中得到了广泛的应用,本文试图对收集到的某个临床医学...

38450
来自专栏SIGAI学习与实践平台

自然场景文本检测识别技术综述

白蛇: 白纸黑字的扫描文档识别技术已经很成熟,而自然场景图像文本识别的效果还不理想。倾斜字、艺术字、变形字、模糊字、形似字、残缺字、光影遮蔽、多语言混合文本等应...

72120
来自专栏机器之心

ICML 2018 | Petuum提出新型正则化方法:非重叠促进型变量选择

在评估模型质量的各种指标中,有两个比较常用:(1)在未曾见过的数据上的预测准确度;(2)对模型的解释。对于(2),科学家更喜欢更简单的模型,因为响应和协变量之间...

10830
来自专栏量子位

DIY自动分类“错题集”:一种基于视觉词汇的文本分类法

作者:曹阳敏 万达网络科技 | 资深研发经理 量子位 已获授权编辑发布 转载请联系原作者 一年多以前我脑子一热,想做一款移动应用:一款给学生朋友用的“错题集”应...

41540
来自专栏lzj_learn_note

机器学习课程笔记(一)

一个程序被认为能从经验E中学习,解决任务T,达到性能度量值P,当且仅当有了经验E后,经过P评判,程序在处理T时的性能有所提升。

13510

扫码关注云+社区

领取腾讯云代金券