专栏首页后端技术最大似然估计 最大后验估计

最大似然估计 最大后验估计

MLE MAP

MLE: 首先看机器学习基础篇——最大后验概率关于离散分布的举例(就是樱桃/柠檬饼干问题) 可见,MLE是在各种概率中,找出使发生事实概率最大的那个概率。 比如那篇博文的例子,你要找到哪个袋子会使得拿到两个柠檬饼干的概率最大。根据如下公式,你要找到一个p,使得p^2最大。

MAP: 还是接着那个饼干的例子,如果取每个包裹的概率不是平均的,而是有遵循某种概率分布的?这就是MAP了。

我们要找到一个包裹,使得上面的公式值最大。

  • p的取值分别为0%,25%,50%,75%,1
  • g的取值分别为0.1, 0.2, 0.4, 0.2, 0.1.
  • 则MAP值为0, 0.0125 , 0.125, 0.28125, 0.1

通过MAP估计可得结果是从第四个袋子中取得的最高。

上述都是离散的变量,那么连续的变量呢?那就遵循下面的公式(符号的解释参考wiki 原文

这里我解释一下,在MAE中,概率本身遵循一个先验分布g(g是一个概率密度公式)。显然,公式的分母是一个积分,计算结果是个常数,而且与θ无关。 注意,该公式的意义并不表示一个概率,而且g(θ)是一个概率密度。公式的分母含义可以理解成:所有(x事件会发生的概率密度)的积分,而分子的含义可以理解成:给定θ下,x事件会发生的概率密度,所以公式的含义大概是(某个θ下发生x的概率密度)/(所有θ下发生x的概率密度的积分)。

我们的目标是,让上面的公式值最大。由于上式分母与θ无关,就只要让分子的值最大即可。:

求解方法是求出极值,可以如下:

  1. 先两边加ln
  2. 公式对θ求导
  3. 再求θ,使得公式导数等于0

这个θ就是我们预测的概率了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Java(9):浅谈WebCollector的数据抓取

    作为Java世界中小白的我(瑟瑟发抖的状态),在网络数据抓取这一块简直是一无所知.天无绝人之路,这时候我们老大向我推荐一个很好用的爬虫框架WebCollecto...

    平凡的学生族
  • spring 自动配置(下) 自动配置总结

    图太大,放不下,请点开大图(不点开大图看的是缩略图),再右键"新标签页打开图片"查看。也可以点开大图保存到本地查看:

    平凡的学生族
  • File.listFiles()返回null

    如果已知ROOT路径存在,root.exists()返回true。且是文件夹。那么原因则是没有获取READ_EXTERNAL_STORAGE权限。

    平凡的学生族
  • 程序猿都没对象,JS竟然有对象?

      现在做项目基本是套用框架,不论是网上的前端还是后端框架,也会寻找一些封装好的插件拿来即用,但还是希望拿来时最好自己过后再回过头了解里面的原理,学习里面优秀的...

    欢醉
  • 浅谈 JS 创建对象的 8 种模式

    版权声明:本文为吴孔云博客原创文章,转载请注明出处并带上链接,谢谢。 https://blog.csdn.net/wkyseo/articl...

    空空云
  • Typecho完美实现回复可见功能

    } 就是用插件接口,在缩略内容输出之前,隐藏掉或者替换掉回复可见内容,同时使用if判断,来针对非single页面进行隐藏。

    似水的流年
  • 抢跑Serverless DB,腾讯云打的什么算盘?

    但这种格局只是建立在当前的技术背景之上,新的云计算架构理念——Serverless正在全球范围内铺开,行业在迎来新的竞争变局。

    曾响铃
  • 从概念到实践,开发者如何更好地了解 Serverless

    Serverless 到底是什么呢?字面翻译上,Serverless 即是「无服务器」。无服务器,真的就是没有服务器吗?Serverless 究竟是什么样的一...

    腾讯云serverless团队
  • HttpInvokerServiceExporter和HttpInvokerProxyFactoryBean的实现

    时序图(描述的是serviceInterface为interface类型时的情况,注意下面的图中步骤4、9中为了方便阅读,加了返回值,严格来说这是不合理,这么画...

    克虏伯
  • Excel公式技巧14: 在主工作表中汇总多个工作表中满足条件的值

    我们可能熟悉使用INDEX、SMALL等在给定单列或单行数组的情况下,返回满足一个或多个条件的值的列表。这是一项标准的公式技术。

    fanjy

扫码关注云+社区

领取腾讯云代金券