首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >统计学基础回顾

统计学基础回顾

作者头像
iOSDevLog
发布2018-06-13 10:45:05
4220
发布2018-06-13 10:45:05
举报
文章被收录于专栏:iOSDevLogiOSDevLog

1. 统计学基础回顾


1.1 先验概率与后验概率

  • 先验概率: 根据以往经验和分析得到的概率,如全概率公式,它往往作为”由因求果” 问题中的”因”出现。
  • 后验概率: 依据得到”结果”信息所计算出的最有可能是那种事件发生,如贝叶斯公式 中的,是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式,用先验概率和 似然函数计算出来。
  • 贝叶斯定理: 假设B1,B2,...,Bn互斥且构成一个完全事件,已知它们的概率P(Bi),i=1,2,...,n, 现观察到某事件A与B1,B2,...,Bn相伴随机出现,且已知条件概率P(A|Bi),求P(Bi|A)。

$$ P\left( B_{i} | A\right) = \dfrac {P\left( B_{i}\right) P\left( A|B_{i}\right) }{\sum ^{n}{j=1}P\left( B{j}\right) P\left( A|B_{j}\right) } $$

1.2 极大似然估计(MLE)

  • 极大似然估计: 已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参 数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。最大似然估计是建 立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其 他小概率的样本,所以干脆就把这个参数作为估计的真实值。
  • 定义: 设总体分布为f(x,θ),x1,x2,...,xn为该总体采用得到的样本。因为x1,x2,...,xn独立同分布,于是,它们的联合密度函数为:

$$ L\left( x_{1},x_{y}\ldots,x_{n};\theta _{1},\theta {2},\ldots ,\theta {k}\right) = \prod ^{n}{i=1}f\left( x{i};\theta _{1},\theta _{2},\ldots ,\theta _{k}\right) $$

求最大似然函数估计值的一般步骤:

  1. 写出似然函数;
  2. 对似然函数取对数,得到对数似然函数;
  3. 若对数似然函数可导,求导,解方程组logL(θ1,θ2,...,θk)=∑ni=1f(xi;θ1,θ2,...,θk),得到驻 点;
  4. 分析驻点是极大值点。

举例:抛硬币

统计学基础回顾

要点总结

  • 要点1
    • 贝叶斯定理与应用
  • 要点2
    • MLE的步骤与使用

原文:https://iosdevlog.gitbooks.io/aidevlog/ML/DecisionTreeAndClassification.html

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018.06.12 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1. 统计学基础回顾
    • 1.1 先验概率与后验概率
      • 1.2 极大似然估计(MLE)
        • 统计学基础回顾
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档