统计学基础回顾

1. 统计学基础回顾


1.1 先验概率与后验概率

  • 先验概率: 根据以往经验和分析得到的概率,如全概率公式,它往往作为”由因求果” 问题中的”因”出现。
  • 后验概率: 依据得到”结果”信息所计算出的最有可能是那种事件发生,如贝叶斯公式 中的,是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式,用先验概率和 似然函数计算出来。
  • 贝叶斯定理: 假设B1,B2,...,Bn互斥且构成一个完全事件,已知它们的概率P(Bi),i=1,2,...,n, 现观察到某事件A与B1,B2,...,Bn相伴随机出现,且已知条件概率P(A|Bi),求P(Bi|A)。

$$ P\left( B_{i} | A\right) = \dfrac {P\left( B_{i}\right) P\left( A|B_{i}\right) }{\sum ^{n}{j=1}P\left( B{j}\right) P\left( A|B_{j}\right) } $$

1.2 极大似然估计(MLE)

  • 极大似然估计: 已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参 数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。最大似然估计是建 立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其 他小概率的样本,所以干脆就把这个参数作为估计的真实值。
  • 定义: 设总体分布为f(x,θ),x1,x2,...,xn为该总体采用得到的样本。因为x1,x2,...,xn独立同分布,于是,它们的联合密度函数为:

$$ L\left( x_{1},x_{y}\ldots,x_{n};\theta _{1},\theta {2},\ldots ,\theta {k}\right) = \prod ^{n}{i=1}f\left( x{i};\theta _{1},\theta _{2},\ldots ,\theta _{k}\right) $$

求最大似然函数估计值的一般步骤:

  1. 写出似然函数;
  2. 对似然函数取对数,得到对数似然函数;
  3. 若对数似然函数可导,求导,解方程组logL(θ1,θ2,...,θk)=∑ni=1f(xi;θ1,θ2,...,θk),得到驻 点;
  4. 分析驻点是极大值点。

举例:抛硬币

统计学基础回顾

要点总结

  • 要点1
    • 贝叶斯定理与应用
  • 要点2
    • MLE的步骤与使用

原文:https://iosdevlog.gitbooks.io/aidevlog/ML/DecisionTreeAndClassification.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏算法channel

数据降维处理:PCA之奇异值分解(SVD)介绍

《实例》阐述算法,通俗易懂,助您对算法的理解达到一个新高度。包含但不限于:经典算法,机器学习,深度学习,LeetCode 题解,Kaggle 实战。期待您的到来...

4138
来自专栏红色石头的机器学习之路

台湾大学林轩田机器学习技法课程学习笔记7 -- Blending and Bagging

上节课我们主要介绍了Support Vector Regression,将kernel model引入到regression中。首先,通过将ridge regr...

2110
来自专栏人工智能头条

看得“深”、看得“清” —— 深度学习在图像超清化的应用

1764
来自专栏人工智能头条

深度学习在计算机视觉领域的前沿进展

2283
来自专栏AI科技评论

学界 | CVPR 2018论文解读:一种交互式纹理迁移通用框架

AI 科技评论按:本文是北京大学门怡芳基于其 CVPR spotlight 论文为 AI 科技评论提供的独家稿件,未经许可不得转载。

1092
来自专栏机器之心

业界 | 华为推出新型HiSR:移动端的超分辨率算法

机器之心发布 作者:Mr. AI 近日,华为推出了 HiSR 超分辨率技术,该模型借助第一款人工智能手机芯片 Kirin 970 和深度学习算法将低分辨率图片转...

4188
来自专栏AI启蒙研究院

【通俗理解】贝叶斯统计

1173
来自专栏数据派THU

教你简单解决过拟合问题(附公式)

作者:Ahmed Gad 翻译:韩海畴 校对:丁楠雅 本文带大家认识了什么是过拟合,并且示范了用正则化的方法来避免过拟合的问题。 ? 多项式回归&过拟合 你可...

3588
来自专栏专知

【重温经典】吴恩达机器学习课程学习笔记十一:神经网络

1422
来自专栏机器学习算法与Python学习

Deep Learning(1) -- 概述、分布式表示与思想

绪论 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的...

5127

扫码关注云+社区