专栏首页PPV课数据科学社区连载 | 概率论与数理统计(1) – 基本概念

连载 | 概率论与数理统计(1) – 基本概念

作者:Belter。专注于生物方向的数据分析,一位编程爱好者。关注Python, R和大数据。

最近专门抽出一段时间对自己学习过的《概率论与数理统计》做一个小结,也算是对自己的一个交代。主要包括以下几个方面:

  • 基本概念;
  • Python的实现;
  • 一些比较经典的例子。

以下主要根据浙江大学在中国大学MOOC上的公开课笔记,整理而来:

基础中的基础


统计规律性:

在所有可观察的现象中,可以从大的方面分为两类——必然现象随机现象

物理学中各种定律描述的基本上都是必然现象,比如物体会因为重力而从高处下落,某一时刻地球位于太阳系中的位置。这些现象的发生都是确定无疑的,如果我们完全认识了它们的内在规律,那么在发生之前就是可以完全准确的预测出结果。但是还有一类现象是不确定的。它的不确定性表现在,事先无法准确的预测其结果。唯一可以获得这类现象的结果的办法是等到它们发生之后。最典型的例子就是抛硬币。抛一枚均匀的硬币之前,已知结果只有正面和反面两种,但是无法知道到底会是哪一面。生活中还有很多这样的事情,比如说,跟喜欢的人表白;明天是否会下雨等。可以看到,这些现象单次发生的时候,是毫无规律可循的。也正是有了这两种现象,才让这个世界既可以被认识,又不至于完全可以被预测(那不知道会多无聊)。

但当我们在相同的条件下,大量重复(如果可以的话)做某件不确定的事,然后统计实验结果,就有可能发现某种规律。还是拿抛硬币来举例,每次抛硬币都不知道会得到正面还是反面,但如果有耐心将一枚均匀的硬币抛20,000次(已经有多位著名的统计学家这么做过了),然后统计一下正反面分别出现了多少次,就可以发现它们差不多都是10,000次,也就是差不多各占50%。上面的抛硬币的例子中,随机现象(抛硬币)在相同的条件下,大量重复试验中呈现的规律性就叫做统计规律性。《概率论与数量统计》就是研究随机现象的统计规律的一门学科。从这里也可以看到样本量的多少对研究随机变量的规律的影响是巨大的。

概率论与数量统计:

实际上,一般概率论与数理统计被认为是两个学科。

概率论是数学的一个分支,研究如何定量描述随机变量及其规律;

数理统计则是以数据为唯一研究对象,包括数据的收集、整理、分析和建模,从而对随机现象的某些规律进行预测或决策。

怎么学习概率论与数量统计:

  1. 学思想:如何看待和处理随机规律性;
  2. 学方法:建立统计模型;
  3. 学应用:模型的实际应用,也可以自己收集、寻找各种实例;
  4. 学软件:掌握统计软件的使用和结果分析。

检验标准:对”随机”有足够的认识;对”数据”有兴趣、有感觉。

随机试验与样本空间


随机试验:

对随机现象的观察、记录、实验统称为随机试验。它具有以下特性:

  • 可以在相同条件下重复进行;
  • 事先知道所有可能出现的结果;
  • 进行试验前不知道哪个试验结果会发生。

随机试验有很多种,例如常出现的掷骰子,摸球,射击,抛硬币等。所有的随机试验的结果可以分为两类来表示:

  • 数量化表示:射击命中的次数,商场每个小时的客流量,每天经过某个收费站的车辆等,这些结果本身就是数字;
  • 非数量化表示:抛硬币的结果(正面/反面),化验的结果(阳性/阴性)等,这些结果是定性的,非数量化的。但是可以用示性函数来表示,例如可以规定正面(阳性)为1,反面(阴性)为0,这样就实现了非数量化结果的数量化表示。

样本空间:

随机试验的所有可能结果构成的集合。一般即为S(大写的S)。

S中的元素e称为样本点(也可以叫做基本事件);

事件是样本空间的子集,同样是一个集合;

事件的相互关系:

  • 事件的包含:A⊆B
  • 事件的相等:A=B
  • 事件的积(交):A∩B,AB
  • 互斥事件(互不相容事件):不能同时出现
  • 事件的和(并):A∪B
  • 事件的差:A-B,A发生,B不发生
  • 对立事件(逆事件):互斥,必需出现其中一个

事件的运算性质就是集合的性质

频率与概率


频率:

频率是0~1之间的一个实数,在大量重复试验的基础上给出了随机事件发生可能性的估计。

频率的稳定性:在充分多次试验中,事件的频率总在一个定值附近摆动,而且,试验次数越多摆动越小。这个性质叫做频率的稳定性。

概率:

概率的统计性定义:当试验次数增加时,随机事件A发生的频率的稳定值p就称为概率。记为P(A)=p

概率的公理化定义:设随机试验对于的样本空间为S。对每一个事件A,定义P(A),满足:

  1. 非负性:P(A) ≥ 0;
  2. 规范性:P(S) = 1;
  3. 可列可加性:A1, A2, …两两互斥,及AiAj = ∅, i≠j, 则P(∪Ai) = ∑P(Ai)

概率是随机事件的函数,对于不同的事件,取不同的值

条件概率:

P(A|B)表示在事件B发生的条件下,事件A发生的概率,相当于A在B中所占的比例。此时,样本空间从原来的完整样本空间S缩小到了B

由于有了条件的约束(事件B),使得原来的样本空间减小了。

图1:a.条件概率的样本空间;b.条件概率的计算公式

例:一个家庭中有两个小孩,已知至少一个是女孩,问两个都是女孩的概率是多少?

(假定生男生女是等可能的)

解:由题意,样本空间为

S = {(兄, 弟), (兄, 妹), (姐, 弟), (姐, 妹)}

B = {(兄, 妹), (姐, 弟), (姐, 妹)}

A = {(姐, 妹)}

由于事件B已经发生,所以这时试验的所有可能只有三种,而事件A包含的基本事件只占其中的一种,所以有:

P(A|B) = 1/3,

即在已知至少一个是女孩的情况下,两个都是女孩的概率为1/3。

在这个例子中,如果不知道事件B发生,则事件A发生的概率为P(A) = 1/4

这里P(A) ≠ P(A|B),其原因在于事件B的发生改变了样本空间,使它由原来的S缩减为新的样本空间SB = B。

随机变量


在几乎所有的教材中,介绍概率论时都是从事件和样本空间说起的,但是后面的概率论都是围绕着随机变量展开的。可以说前面的事件和样本空间都是引子,引出了随机变量这个概率论中的核心概念。后面的统计学是建立在概率论的理论基础之上的,因此可以说理解随机变量这个概念是学习和运用概率论与数理统计的关键。

名词解释:

  • 首先这是一个变量,变量与常数相对,也就是说其取值是不明确的,其实随机变量的整个取值范围就是前面说的样本空间;
  • 其次这个量是随机的,也就是说它的取值带有不确定性,当然是在样本空间这个范围内。

定义:

设随机试验的样本空间是S。若对S中的每个样本点e,都有唯一的实数值X(e)与之对应,则称X(e)为随机变量,简记为X。

图2:a.随机变量与事件的关系;b.随机变量的本质是函数(一种映射关系)

随机变量的定义并不复杂,但是理解起来却并不是那么直观。参考图2的两个示意图,可以帮助理解。

  • 首先,随机变量与之前定义的事件是有关系的,因为每个样本点本身就是一个基本事件;
  • 在前面随机试验结果的表示中提到,无论是数量化的结果还是非数量化的结果,即不管试验结果是否与数值有关, 都可以引入变量, 使试验结果与数建立对应关系;
  • 随机变量本质上是一种函数,其目的就是建立试验结果(样本空间中的点,同基本事件e)与实数之间的对应关系(例如将”正面”映射为1,”反面”映射为0);
  • 自变量为基本事件e,定义域为样本空间S,值域为某个实数集合,多个自变量可以对应同一个函数值,但不允许一个自变量对应多个函数值;
  • 随机变量X取某个值或某些值就表示某种事件,且具有一定的概率;
  • 随机变量中的随机来源于随机试验结果的不确定性;

随机变量的表示:

  • 随机变量通常用大写字母X, Y, Z或希腊字母ξ, η等表示;
  • 随机变量的取值一般用小写字母x, y, z等表示。

通过引入随机变量,我们简化了随机试验结果(事件)的表示,从而可以更加方便的对随机试验进行研究。

图3:从事件到随机变量

例:用X表示单位时间内某电话交换台收到的呼叫次数,它是一个随机变量。

  • 事件A=“收到不少于1次呼叫” <=> ( X >= 1 );
  • 事件B=“没有收到呼叫” <=> ( X = 0 ) ;
  • 而P(A) = P(X >= 1), P(B) = P(X = 0)。

随机变量的分类:

  • 离散型随机变量;
  • 连续型随机变量;
  • 每类随机变量都有其独特的概率密度函数和概率分布函数。

随机变量的数字特征:

  • 期望(均值),众数,分位数,中位数;
  • 方差;
  • 协方差;
  • 相关系数。

Reference


中国大学MOOC:浙江大学,概率论与数理统计

中国大学MOOC:哈尔滨工业大学,概率论与数理统计

https://www.mathsisfun.com/data/random-variables.html

重大修订版: 2017-7-23,添加随机变量相关内容;

来源:http://www.cnblogs.com/Belter/p/7147961.html

待续……

本文分享自微信公众号 - PPV课数据科学社区(ppvke123)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-04-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 连载 | 概率论与数理统计(2) – 随机变量概述

    作者:Belter。专注于生物方向的数据分析,一位编程爱好者。关注Python, R和大数据。

    小莹莹
  • 概率论与数理统计

    设\lbrace{X_n}\rbrace为一随机变量序列。目标:X为一随机变量(或a为常数)。

    孔西皮
  • 概率论与数理统计(一)

    mathor
  • 概率论与数理统计(二)

    mathor
  • 概率论与数理统计公式整理(完整版)

    统计学家
  • 连载 | 概率论与数理统计(3) – 一维离散型随机变量及其Python实现

    上一小节对随机变量做了一个概述,这一节主要记录一维离散型随机变量以及关于它们的一些性质。对于概率论与数理统计方面的计算及可视化,主要的Python包有scipy...

    小莹莹
  • 数理统计与概率论及Python实现——随机变量

    在几乎所有的教材中,介绍概率论时都是从事件和样本空间说起的,但是后面的概率论都是围绕着随机变量展开的。可以说前面的事件和样本空间都是引子,引出了随机变量这个概...

    数据森麟
  • 概率论与数理统计,人工智能方向的程序员应该看看!

    定理:①设A、B是相互独立的事件,若P(A)>0,则P(B|A)=P(B);若P(B)>0,则P(A|B)=P(A)

    BA_NANA
  • 资源 | 从语言建模到隐马尔可夫模型:一文详述计算语言学

    机器之心整理 参与:路雪、蒋思源 计算语言学(computational linguistics)是一门跨学科的研究领域,它试图找出自然语言的规律,建立运算模型...

    机器之心
  • AI路上,她会一路相伴......

    这是一条通往 AI 的路...... 和 AI 路上,第一步这么走下去... 谈到花一定时间研究基础算法的重要性。它们帮助我们夯实算法地基,领略到算法思想的魅力...

    double
  • 1+1>2:MIT&amp;IBM提出结合符号主义和连接主义的高效、准确新模型

    人工智能应该复制人脑的哪一部分功能?这个问题的答案反映了一场辩论的焦点,这场辩论和 AI 的历史一样久远。20 世纪 50 年代,人类开始探索如何创建可以思考的...

    磐创AI
  • 【原创】机器学习从零开始系列连载(4)——​逻辑回归

    逻辑回归恐怕是互联网领域用的最多的模型之一了,很多公司做算法的同学都会拿它做为算法系统进入模型阶段的baseline。

    lujohn3li
  • 演讲 | 技术讲解概率机器学习——深度学习革命之后AI道路

    Zoubin Ghahramani 是英国皇家学会会士,剑桥大学信息工程系教授,Uber 首席科学家,英国国家数据科学研究所图灵研究所剑桥主任。Zoubin G...

    机器之心
  • Distribution is all you need:这里有12种做ML不可不知的分布

    机器学习有其独特的数学基础,我们用微积分来处理变化无限小的函数,并计算它们的变化;我们使用线性代数来处理计算过程;我们还用概率论与统计学建模不确定性。在这其中,...

    机器之心
  • 机器学习领域必知必会的12种概率分布(附Python代码实现)

    机器学习有其独特的数学基础,我们用微积分来处理变化无限小的函数,并计算它们的变化;我们使用线性代数来处理计算过程;我们还用概率论与统计学建模不确定性。在这其中,...

    AI算法与图像处理
  • 资源 | 源自斯坦福CS229,机器学习备忘录在集结

    项目地址:https://github.com/afshinea/stanford-cs-229-machine-learning

    机器之心
  • 结合符号与连接,斯坦福神经状态机冲刺视觉推理新SOTA

    在研究中,为了解决「看图问答」任务,研究人员将图像和问题同时转化为基于语义概念的表征,在一个抽象的隐空间中运行,增强了模型的透明性和模块性。

    机器之心
  • MADlib——基于SQL的数据挖掘解决方案(9)——数据探索之概率统计

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.n...

    用户1148526
  • 我的机器学习概率论篇排列 组合古典概率联合概率条件概率全概率公式贝叶斯公式独立事件随机变量离散型随机变量连续型随机变量期望和方差三个基本定理参数估计

    前言: 概率论的理解有些抽象,掌握概率论的方法,用实际样本去无限接近真实,熟练掌握并且使用一些最基本的概念是前提,比如,均值,方差 排列 组合 计算各种...

    DC童生

扫码关注云+社区

领取腾讯云代金券