统计学基础回顾

1. 统计学基础回顾


1.1 先验概率与后验概率

  • 先验概率: 根据以往经验和分析得到的概率,如全概率公式,它往往作为”由因求果” 问题中的”因”出现。
  • 后验概率: 依据得到”结果”信息所计算出的最有可能是那种事件发生,如贝叶斯公式 中的,是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式,用先验概率和 似然函数计算出来。
  • 贝叶斯定理: 假设B1,B2,...,Bn互斥且构成一个完全事件,已知它们的概率P(Bi),i=1,2,...,n, 现观察到某事件A与B1,B2,...,Bn相伴随机出现,且已知条件概率P(A|Bi),求P(Bi|A)。

$$ P\left( B_{i} | A\right) = \dfrac {P\left( B_{i}\right) P\left( A|B_{i}\right) }{\sum ^{n}{j=1}P\left( B{j}\right) P\left( A|B_{j}\right) } $$

1.2 极大似然估计(MLE)

  • 极大似然估计: 已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参 数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。最大似然估计是建 立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其 他小概率的样本,所以干脆就把这个参数作为估计的真实值。
  • 定义: 设总体分布为f(x,θ),x1,x2,...,xn为该总体采用得到的样本。因为x1,x2,...,xn独立同分布,于是,它们的联合密度函数为:

$$ L\left( x_{1},x_{y}\ldots,x_{n};\theta _{1},\theta {2},\ldots ,\theta {k}\right) = \prod ^{n}{i=1}f\left( x{i};\theta _{1},\theta _{2},\ldots ,\theta _{k}\right) $$

求最大似然函数估计值的一般步骤:

  1. 写出似然函数;
  2. 对似然函数取对数,得到对数似然函数;
  3. 若对数似然函数可导,求导,解方程组logL(θ1,θ2,...,θk)=∑ni=1f(xi;θ1,θ2,...,θk),得到驻 点;
  4. 分析驻点是极大值点。

举例:抛硬币

统计学基础回顾

要点总结

  • 要点1
    • 贝叶斯定理与应用
  • 要点2
    • MLE的步骤与使用

原文:https://iosdevlog.gitbooks.io/aidevlog/ML/DecisionTreeAndClassification.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

开发 | AI股市预测实战:用LSTM神经网络预测沪深300未来五日收益率

LSTM Networks(长短期记忆神经网络)简介 LSTM Networks 是递归神经网络(RNNs)的一种,该算法由 Sepp Hochreiter...

2805
来自专栏数据科学与人工智能

支持向量机SVM介绍|机器学习

(一)SVM的八股简介 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高...

3586
来自专栏专知

概率论之概念解析:用贝叶斯推断进行参数估计

【导读】既昨天推出概率论之概念解析:极大似然估计,大家反响热烈,今天专知推出其续集——贝叶斯推断进行参数估计。本文是数据科学家Jonny Brooks-Bart...

4356
来自专栏数据魔术师

机器学习 | 模型评估和选择

2315
来自专栏机器学习算法与Python学习

Deep Learning(1) -- 概述、分布式表示与思想

绪论 深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的...

4707
来自专栏大数据挖掘DT机器学习

支持向量机SVM入门详解:那些你需要消化的知识

出自:嘉士伯的Java小屋 http://www.blogjava.net/ (一)SVM的八股简介 支持向量机(Support Vector Machine)...

3698
来自专栏机器之心

业界 | 华为推出新型HiSR:移动端的超分辨率算法

机器之心发布 作者:Mr. AI 近日,华为推出了 HiSR 超分辨率技术,该模型借助第一款人工智能手机芯片 Kirin 970 和深度学习算法将低分辨率图片转...

3858
来自专栏AI科技评论

学界 | CVPR 2018论文解读:一种交互式纹理迁移通用框架

AI 科技评论按:本文是北京大学门怡芳基于其 CVPR spotlight 论文为 AI 科技评论提供的独家稿件,未经许可不得转载。

792
来自专栏数据派THU

教你简单解决过拟合问题(附公式)

作者:Ahmed Gad 翻译:韩海畴 校对:丁楠雅 本文带大家认识了什么是过拟合,并且示范了用正则化的方法来避免过拟合的问题。 ? 多项式回归&过拟合 你可...

3508
来自专栏数据派THU

独家 | 一文读懂集成学习(附学习资源)

本文是数据派研究部“集成学习月”的第一篇文章,本月将陆续发布关于集中学习的话题内容,月末将有答题互动活动来赢奖,欢迎随时留言讨论相关话题。 集成算法(Ensem...

2805

扫码关注云+社区