统计学基础回顾

1. 统计学基础回顾


1.1 先验概率与后验概率

  • 先验概率: 根据以往经验和分析得到的概率,如全概率公式,它往往作为”由因求果” 问题中的”因”出现。
  • 后验概率: 依据得到”结果”信息所计算出的最有可能是那种事件发生,如贝叶斯公式 中的,是”执果寻因”问题中的”因”。后验概率可以根据通过贝叶斯公式,用先验概率和 似然函数计算出来。
  • 贝叶斯定理: 假设B1,B2,...,Bn互斥且构成一个完全事件,已知它们的概率P(Bi),i=1,2,...,n, 现观察到某事件A与B1,B2,...,Bn相伴随机出现,且已知条件概率P(A|Bi),求P(Bi|A)。

$$ P\left( B_{i} | A\right) = \dfrac {P\left( B_{i}\right) P\left( A|B_{i}\right) }{\sum ^{n}{j=1}P\left( B{j}\right) P\left( A|B_{j}\right) } $$

1.2 极大似然估计(MLE)

  • 极大似然估计: 已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参 数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。最大似然估计是建 立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其 他小概率的样本,所以干脆就把这个参数作为估计的真实值。
  • 定义: 设总体分布为f(x,θ),x1,x2,...,xn为该总体采用得到的样本。因为x1,x2,...,xn独立同分布,于是,它们的联合密度函数为:

$$ L\left( x_{1},x_{y}\ldots,x_{n};\theta _{1},\theta {2},\ldots ,\theta {k}\right) = \prod ^{n}{i=1}f\left( x{i};\theta _{1},\theta _{2},\ldots ,\theta _{k}\right) $$

求最大似然函数估计值的一般步骤:

  1. 写出似然函数;
  2. 对似然函数取对数,得到对数似然函数;
  3. 若对数似然函数可导,求导,解方程组logL(θ1,θ2,...,θk)=∑ni=1f(xi;θ1,θ2,...,θk),得到驻 点;
  4. 分析驻点是极大值点。

举例:抛硬币

统计学基础回顾

要点总结

  • 要点1
    • 贝叶斯定理与应用
  • 要点2
    • MLE的步骤与使用

原文:https://iosdevlog.gitbooks.io/aidevlog/ML/DecisionTreeAndClassification.html

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据文摘

斯坦福CS231N深度学习与计算机视觉第七弹:神经网络数据预处理,正则化与损失函数

1442
来自专栏Spark学习技巧

机器学习之学习率 Learning Rate

1142
来自专栏企鹅号快讯

从零学习:从Python和R理解和编码神经网络

作者:SUNIL RAY 编译:Bot 编者按:当你面对一个新概念时,你会怎么学习和实践它?是耗费大量时间学习整个理论,掌握背后的算法、数学、假设、局限再亲身实...

34710
来自专栏刘笑江的专栏

Factorization Machine

1264
来自专栏AI科技大本营的专栏

笔记 |《深度学习原理与TensorFlow实践》学习笔记(三)

作者 | 王清 目录 图像识别的经典课题 计算机视觉 图像识别课题 卷积神经网络原理 前深度学习时代 卷积操作Convolution 池化Pooling ReL...

3315
来自专栏量子位

自编码器是什么?有什么用?这里有一份入门指南(附代码)

? 自编码器(Autoencoder,AE),是一种利用反向传播算法使得输出值等于输入值的神经网络,它先将输入压缩成潜在空间表征,然后通过这种表征来重构输出。...

3176
来自专栏机器之心

从最大似然估计开始,你需要打下的机器学习基石

3389
来自专栏IT派

最全的DNN概述论文:详解前馈、卷积和循环神经网络技术

本论文技术性地介绍了三种最常见的神经网络:前馈神经网络、卷积神经网络和循环神经网络。且该文详细介绍了每一种网络的基本构建块,其包括了基本架构、传播方式、连接方式...

3434
来自专栏智能算法

以色列理工暑期学习-机器学习中Loss函数的小结

机器学习作为一种优化方法,最重要的一点是找到优化的目标函数——损失函数和正则项的组合;有了目标函数的“正确的打开方式”,才能通过合适的机器学习算法求解优化。 通...

36011
来自专栏人工智能头条

Ian Goodfellow 生成对抗网络GAN论文解析

2034

扫码关注云+社区