我的机器学习概率论篇排列 组合古典概率联合概率条件概率全概率公式贝叶斯公式独立事件随机变量离散型随机变量连续型随机变量期望和方差三个基本定理参数估计

前言: 概率论的理解有些抽象,掌握概率论的方法,用实际样本去无限接近真实,熟练掌握并且使用一些最基本的概念是前提,比如,均值,方差

  • 排列 组合

计算各种公式的基础 排列

image.png

组合

image.png

  • 古典概率

事件A 构成事件A发生的基本时间有a个 不构成事件A发生的基本事件有b个

image.png

  • 联合概率

两个事件共同发生记为P(AB)

  • 条件概率

事件A在另外一个事件B已经发生的条件下的发生概率叫做 条件概率

image.png

推论:如果n个事件同时发生

image.png

  • 全概率公式

样本空间Ω有一组事件A1、A2...An 如图:

image.png

那么对于任意事件B,全概率公式为:

image.png

又叫结果概率公式(B事件一般为结果事件)

  • 贝叶斯公式

可由条件概率公式证明

image.png

假如A1、A2...An是样本空间Ω的一个划分,如果 对任意事件B而言,有P(B)>0,那么:

image.png

又叫原因概率公式,事件B已经发生的情况下查找原因

  • 独立事件

A,B发生无关

image.png

  • 随机变量

把前面说的事件A,B具体化,用变量和函数来表达前面说的该事件在样本空间的概率 例: 掷一颗骰子,令 X:出现的点数. 例:上午 8:00~9:00 在某路口观察,令: Y:该时间间隔内通过的汽车数. 则 Y 就是一个随机变量

  • 离散型随机变量

image.png

    1. Bernoulli分布

    image.png 记做:

    image.png 注意参数1为一次实验,p为发生事件的概率

  • 2)二 项 分 布 进行n次试验发生k次的概率

记为

image.png

  • 3)Poisson 分布 当n取无穷大二向分布的近

image.png 其中参数取值为:

image.png

  • 4)几 何 分 布 在Bernoulli试验中,试验进行到A 首次出现为止

image.png

  • 5)超 几 何 分 布 一批产品有 N 件,其中有 M 件次品,其余 N-M 件为正品.现从中取出 n 件. 令 X:取出 n 件产品中的次品数. 则 X 的分 布律为

image.png

  • 连续型随机变量

分布函数F(x) 概率密度函数分f(x)

  • 1) 均 匀 分 布

image.png 记

image.png

    1. 指 数 分 布
  • 3)正 态 分 布

image.png 一般正态函数的计算,先转化为标准正态函数

  • 期望和方差

学完最好,证明一下前面各个分布的期望和方差

  • 期望 也就是均值,是概率加权下的“平均值”,是每次可能 结果的概率乘以其结果的总和,反映的实随机变量平均取值大小。 常用符号 表示

image.png

  • 方差 方差是衡量数据 源数据和期望均值相差的度量值。

image.png 常见分布的期望和方差如下:

image.png

  • 协方差 协方差常用于衡量两个变量的总体误差
  • 相关系数 两个变量相关程度
  • 中心矩、原点矩 X的数学期望E(X)是X的一阶原点矩。 X的方差D(X)是X的二阶中心矩。 X和Y的协方差Cov(X,Y)是X和Y的二阶混合中心矩
  • 峰度 反应峰部的尖度
  • 偏度 右偏还是左偏
  • 三个基本定理
  • 切比雪夫不等式 /切比雪夫定理 设随机变量X的期望为μ,方差为σ2,对于任意的正数ε,有:

image.png 切比雪夫不等式的含义是:DX(方差)越小,时间{|X-μ|<ε}发生的概 率就越大,即:X取的值基本上集中在期望μ附近

  • 大数定律 随着样本容量n的增加,样本平均数将接近于总体 平均数(期望μ) 为使用频率来估计概率提供了理论支持
  • 中心极限定理 当样本n充分大时,样本均值的抽样分布近似 服从均值为μ/n、方差为σ2/n 的正态分布。
  • 参数估计

参数估计是概率论的应用,就是我们怎么通过实验获得的值来估计概率函数的参数

  • 点估计 分布函数的形式已知,参数未知 对未知参数进行定值估计,极大似然和矩估计是点估计的一种算法
  • 矩估计 和极大似然估计的区别是,利用大数定律中的样本均值和总体平均值一样,求出参数

image.png

  • 极大似然估计 注意分布函数已知,写出似然函数,求导,求出参数值 1)离散型

image.png

2)连续型

image.png

由于f(x)>0,f(x)取对数之后的单调性不变,所以可转化为:

image.png

你可能感冒的文章: 我的机器学习pandas篇 我的机器学习matplotlib篇 我的机器学习numpy篇

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏语言、知识与人工智能

基于深度学习的FAQ问答系统

| 导语 问答系统是信息检索的一种高级形式,能够更加准确地理解用户用自然语言提出的问题,并通过检索语料库、知识图谱或问答知识库返回简洁、准确的匹配答案。相较于...

10.3K10
来自专栏新智元

谷歌等祭出图像语义理解分割神器,PS再也不用专业设计师!

不不不,这不是“找不同”,是为了让你感受一下“像素级语义分割和理解”带来的修图效果:

1062
来自专栏崔庆才的专栏

自然语言处理全家福:纵览当前NLP中的任务、数据、模型与论文

组合范畴语法(CCG; Steedman, 2000)是一种高度词汇化的形式主义。Clark 和 Curran 2007 年提出的标准解析模型使用了超过 400...

5260
来自专栏专知

【2017年末AI最新论文精选】词向量fasttext,CNN is All,强化学习,自回归生成模型, 可视化神经网络损失函数

【导读】专知内容组整理出最近arXiv放出的五篇论文,包括《Tomas Mikolov新作词向量表示,CNN Is All You Need,强化学习库, 自回...

3606
来自专栏人工智能

词向量fasttext,CNN is All,强化学习,自回归生成模型,可视化神经网络损失函数

【导读】专知内容组整理出最近arXiv放出的五篇论文,包括《Tomas Mikolov新作词向量表示,CNN Is All You Need,强化学习库, 自回...

2685
来自专栏marsggbo

Andrew Ng机器学习课程笔记--week9(上)(异常检测&推荐系统)

本周内容较多,故分为上下两篇文章。 一、内容概要 1. Anomaly Detection Density Estimation Problem Motiva...

2349
来自专栏AI科技评论

开发 | 小白学CNN以及Keras的速成

AI 科技评论按:本文作者Sherlock,原文载于其知乎专栏深度炼丹,AI 科技评论已获得其授权发布。 一、为何要用Keras 如今在深度学习大火的时候,第三...

3486
来自专栏AI研习社

传统算法和深度学习的结合和实践,解读与优化 deepfake

前言 前一段时间用于人物换脸的deepfake火爆了朋友圈,早些时候Cycle GAN就可以轻松完成换脸任务,其实换脸是计算机视觉常见的领域,比如Cycle G...

52012
来自专栏一心无二用,本人只专注于基础图像算法的实现与优化。

《Single Image Haze Removal Using Dark Channel Prior》一文中图像去雾算法的原理、实现、效果(速度可实时)

      最新的效果见 :http://video.sina.com.cn/v/b/124538950-1254492273.html         可处理...

71310
来自专栏AI研习社

小白学CNN以及Keras的速成

为何要用Keras 如今在深度学习大火的时候,第三方工具也层出不穷,比较出名的有Tensorflow,Caffe,Theano,MXNet,在如此多的第三方...

2994

扫码关注云+社区