专栏首页机器学习原理我的机器学习概率论篇排列 组合古典概率联合概率条件概率全概率公式贝叶斯公式独立事件随机变量离散型随机变量连续型随机变量期望和方差三个基本定理参数估计

我的机器学习概率论篇排列 组合古典概率联合概率条件概率全概率公式贝叶斯公式独立事件随机变量离散型随机变量连续型随机变量期望和方差三个基本定理参数估计

前言: 概率论的理解有些抽象,掌握概率论的方法,用实际样本去无限接近真实,熟练掌握并且使用一些最基本的概念是前提,比如,均值,方差

  • 排列 组合

计算各种公式的基础 排列

image.png

组合

image.png

  • 古典概率

事件A 构成事件A发生的基本时间有a个 不构成事件A发生的基本事件有b个

image.png

  • 联合概率

两个事件共同发生记为P(AB)

  • 条件概率

事件A在另外一个事件B已经发生的条件下的发生概率叫做 条件概率

image.png

推论:如果n个事件同时发生

image.png

  • 全概率公式

样本空间Ω有一组事件A1、A2...An 如图:

image.png

那么对于任意事件B,全概率公式为:

image.png

又叫结果概率公式(B事件一般为结果事件)

  • 贝叶斯公式

可由条件概率公式证明

image.png

假如A1、A2...An是样本空间Ω的一个划分,如果 对任意事件B而言,有P(B)>0,那么:

image.png

又叫原因概率公式,事件B已经发生的情况下查找原因

  • 独立事件

A,B发生无关

image.png

  • 随机变量

把前面说的事件A,B具体化,用变量和函数来表达前面说的该事件在样本空间的概率 例: 掷一颗骰子,令 X:出现的点数. 例:上午 8:00~9:00 在某路口观察,令: Y:该时间间隔内通过的汽车数. 则 Y 就是一个随机变量

  • 离散型随机变量

image.png

    1. Bernoulli分布

    image.png 记做:

    image.png 注意参数1为一次实验,p为发生事件的概率

  • 2)二 项 分 布 进行n次试验发生k次的概率

记为

image.png

  • 3)Poisson 分布 当n取无穷大二向分布的近

image.png 其中参数取值为:

image.png

  • 4)几 何 分 布 在Bernoulli试验中,试验进行到A 首次出现为止

image.png

  • 5)超 几 何 分 布 一批产品有 N 件,其中有 M 件次品,其余 N-M 件为正品.现从中取出 n 件. 令 X:取出 n 件产品中的次品数. 则 X 的分 布律为

image.png

  • 连续型随机变量

分布函数F(x) 概率密度函数分f(x)

  • 1) 均 匀 分 布

image.png 记

image.png

    1. 指 数 分 布
  • 3)正 态 分 布

image.png 一般正态函数的计算,先转化为标准正态函数

  • 期望和方差

学完最好,证明一下前面各个分布的期望和方差

  • 期望 也就是均值,是概率加权下的“平均值”,是每次可能 结果的概率乘以其结果的总和,反映的实随机变量平均取值大小。 常用符号 表示

image.png

  • 方差 方差是衡量数据 源数据和期望均值相差的度量值。

image.png 常见分布的期望和方差如下:

image.png

  • 协方差 协方差常用于衡量两个变量的总体误差
  • 相关系数 两个变量相关程度
  • 中心矩、原点矩 X的数学期望E(X)是X的一阶原点矩。 X的方差D(X)是X的二阶中心矩。 X和Y的协方差Cov(X,Y)是X和Y的二阶混合中心矩
  • 峰度 反应峰部的尖度
  • 偏度 右偏还是左偏
  • 三个基本定理
  • 切比雪夫不等式 /切比雪夫定理 设随机变量X的期望为μ,方差为σ2,对于任意的正数ε,有:

image.png 切比雪夫不等式的含义是:DX(方差)越小,时间{|X-μ|<ε}发生的概 率就越大,即:X取的值基本上集中在期望μ附近

  • 大数定律 随着样本容量n的增加,样本平均数将接近于总体 平均数(期望μ) 为使用频率来估计概率提供了理论支持
  • 中心极限定理 当样本n充分大时,样本均值的抽样分布近似 服从均值为μ/n、方差为σ2/n 的正态分布。
  • 参数估计

参数估计是概率论的应用,就是我们怎么通过实验获得的值来估计概率函数的参数

  • 点估计 分布函数的形式已知,参数未知 对未知参数进行定值估计,极大似然和矩估计是点估计的一种算法
  • 矩估计 和极大似然估计的区别是,利用大数定律中的样本均值和总体平均值一样,求出参数

image.png

  • 极大似然估计 注意分布函数已知,写出似然函数,求导,求出参数值 1)离散型

image.png

2)连续型

image.png

由于f(x)>0,f(x)取对数之后的单调性不变,所以可转化为:

image.png

你可能感冒的文章: 我的机器学习pandas篇 我的机器学习matplotlib篇 我的机器学习numpy篇

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 图数据库neo4j介绍(1)——基础

    基于数学里的图论的思想和算法而实现的高效处理复杂关系网络的新型数据库系统。 在社交网络、实时推荐、人工智能领域应用广泛。

    DC童生
  • 我的机器学习线性代数篇观点向量矩阵行列式矩阵的初等变换向量组线性方程组特征值和特征向量几个特殊矩阵QR 分解(正交三角分解)奇异值分解向量的导数

    前言: 线代知识点多,有点抽象,写的时候尽量把这些知识点串起来,如果不行,那就两串。其包含的几大对象为:向量,行列式,矩阵,方程组。 观点 核心问题是求...

    DC童生
  • 梯度下降算法

    最优化算法的一种,解决无约束优化问题,用递归来逼近最小偏差的模型。 关于梯度的概念可参见以前的文章: 从方向导数到梯度 梯度下降法迭代公式为: ...

    DC童生
  • 将现有项目上传至github

    1、在github上新建远程仓库(空库),注意不要填写readme,不然github会初始化一个仓库,会和本地仓库产生版本冲突。

    week
  • Docker 网络进阶

    1、在1台主机上运行consul docker run -d -p 8500:8500 -h consul --name consul progrium/co...

    用户5760343
  • 【腾讯云的1001种玩法】构建企业级应用环境之数据层面优化(二)

    在上一篇中我们讲到准备SQL基础环境改造,这一篇将继续讲述如何为应用提供高可用的底层数据层。

    李斯达
  • GNS3 配置GRE

    GRE(Generic Routing Encapsulation)GRE是一种最传统的隧道协议,其根本功能就是要实现隧道功能,以实现异地网络之间可以通过内部私...

    py3study
  • 【腾讯云的1001种玩法】腾讯云上搭建微信AI机器人

    很多个人开发者创建一个微信公众号后,没时间打理,嫣然成了一个摆设。 如果短期内可以搭起有回复功能,帮你查下天气,讲个笑话,帮你翻译。是不是就热闹有味了。

    襄阳野人
  • Windows服务器添加辅助网卡及绑定多ip实践演示

    醉生萌死
  • -source 1.7 中不支持 lambda 表达式(请使用 -source 8 或更高版本以启用 lambda 表达式)

    qubianzhong

扫码关注云+社区

领取腾讯云代金券