专栏首页凹凸玩数据利用python回顾统计学中的基础概念(全)

利用python回顾统计学中的基础概念(全)

大家好,我是黄同学

今天大家用python回顾统计学中的基础概念。

1、什么是描述性统计?

  描述性统计,就是从总体数据中提取变量的主要信息(总和、均值等),从而从总体层面上,对数据进行统计性描述。

在统计的过程中,通常会配合绘制相关的统计图来进行辅助。

2、统计量

  描述性统计所提取的含有总体性值的信息,我们称为统计量。

1)常用统计量

* 频数与频率
   + 预数
   + 频率

* 集中趋势分析
   + 均值
   + 中位数
   + 众数
   + 分位数

* 离散程度分析
   + 极差
   + 方差
   + 标准差

* 分布形状
   + 偏度
   + 峰度

2)变量的类型

* 类别变量
   + 无序类别变量
   + 有序类别变量

* 数值变量
   + 连续变量
   + 离散型变量

3)本文章使用的相关python库

import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
from sklearn.datasets import load_iris
from scipy import stats

sns.set(style="darkgrid")
mpl.rcParams["font.family"] = "SimHei"
mpl.rcParams["axes.unicode_minus"] = False
warnings.filterwarnings("ignore")

3、频率与频数

1)频率与频数的概念

数据的频数与频率适用于类别变量。

频数:指一组数据中类别变量的每个不同取值出现的次数。

频率:指每个类别变量的频数与总次数的比值,通常采用百分数表示。

2)代码:计算鸢尾花数据集中每个类别的频数和频率

iris = load_iris()
# iris是一个类字典格式的数据,data、target、feature_names、target_names都是键
display(iris.data[:5],iris.target[:5])
# feature_names是每一列数据的特征名。target_names是鸢尾花的属种名
display(iris.feature_names,iris.target_names)

# reshape(-1,1)表示将原始数组变为1列,但是行数这里我写一个-1,表示系统
# 会根据我指定的列数,自动去计算出行数。reshape(1,-1)含义同理
dt = np.concatenate([iris.data,iris.target.reshape(-1,1)],axis=1)
df = pd.DataFrame(dt,columns=iris.feature_names + ["types"])
display(df.sample(5))

# 计算鸢尾花数据集中每个类别出现的频数
frequency = df["types"].value_counts()
display(frequency)
percentage = frequency / len(df)
display(percentage)

frequency.plot(kind="bar")

结果如下:

4、集中趋势

1)均值、中位数、众数概念

均值:即平均值,其为一组数据的总和除以数据的个数。

中位数:将一组数据升序排列,位于该组数据最中间位置的值,就是中位数。如果数据个数为偶数,则取中间两个数值的均值。

众数:一组数据中出现次数对多的值。

2)均值、中位数、众数三者的区别

”数值变量”通常使用均值与中值表示集中趋势。

“类别变量”通常使用众数表示集中趋势。

计算均值的时候,因此容易受到极端值的影响。中位数与众数的计算不受极端值的影响,因此会相对稳定。

众数在一组数据中可能不是唯一的。但是均值和中位数都是唯一的。

在正态分布下,三者是相同的。在偏态分布下,三者会所有不同。

3)不同分布下,均值、中位数、众数三者之间的关系

记忆方法:哪边的尾巴长,就叫做 “X偏”。左边的尾巴长,就叫做“左偏”;右边的尾巴长,就叫做“右偏”。并且均值离着尾巴最近,中位数总是在最中间,众数离着尾巴最远。

4)代码:计算鸢尾花数据集中花萼长度的均值、中位数、众数

mean = df["sepal length (cm)"].mean()
display(mean)

median = df["sepal length (cm)"].median()
display(median)
# 由于series中没有专门计算众数的函数,因此需要我们统计频数最大的那些值
s = df["sepal length (cm)"].value_counts()
s = s[s.values == s.values[0]]
s.index.tolist()
t = s.index[0]
t
# scipy的stats模块中,可以计算众数
from scipy import stats
t = stats.mode(df["sepal length (cm)"])
# 注意:t展示的类字典格式的数据类型,mode展示众数,count用于展示众数出现的次数
display(t.mode,t.count)

sns.distplot(df["sepal length (cm)"])

plt.axvline(mean,ls="-",color="r",label="均值")
plt.axvline(median,ls="-",color="g",label="中值")
plt.axvline(t,ls="-",color="indigo",label="众数")
plt.legend(loc="best")

结果如下:

5、集中趋势:分位数

1)分位数的概念

分位数:将数据从小到大排列,通过n-1个分位数将数据分为n个区间,使得每个区间的数值的个数相等(近似相等)。

以四分位数为例,通过3个分位数,将数据划分为4个区间。(十分位数含义相同)

第一个分位数成为1/4分位数(下四分位数),数据中有1/4的数据小于该分位数。

第二个分位数成为2/4分位数(中四分位数,也叫中位数),数据中有2/4的数据小于该分位数。

第三个分位数成为3/4分位数(下四分位数),数据中有3/4的数据小于该分位数。

2)怎么求分位数

  给定一组数据(存放在数组中),我们要如何计算其四分位值呢?首先要明确一点,四分位值未必一定等同于数组中的某个元素。

  在Python中,四分位值的计算方式如下:

  ① 首先计算四分位的位置。

  其中,位置index从1开始,n为数组中元素的个数。

  ② 根据位置计算四分位值。

  如果index为整数(小数点后为0),四分位的值就是数组中索引为index的元素(注意位置索引从1开始)。

  如果index不是整数,则四分位位置介于ceil(index)与floor(index)之间,根据这两个位置的元素确定四分位值。

3)分位数是数组中的元素的情况

x = np.arange(10,19)
n = len(x)
# 计算每个分位数的位置,这个位置是从1开始的。但是数组元素索引从0开始的
q1_index=1+(n-1)*0.25
q2_index=1+(n-1)*0.5
q3_index=1+(n-1)*0.75
# 这里计算出来的数字是浮点类型,需要转化为小数,才能当作索引
q1_index,q2_index,q3_index

# 计算分位数
index = np.array([q1_index,q2_index,q3_index]).astype(np.int32)
index -= 1
q = x[index]
q

结果如下:

绘制图形:

plt.figure(figsize=(15,4))
plt.xticks(x)
plt.plot(x,np.zeros(len(x)),ls="",marker="D",ms=15,label="元素值")
plt.plot(x[index],np.zeros(len(index)),ls="",marker="X",ms=15,label="四分位值")
plt.legend()

结果如下:

4)分位数不是数组中的元素的情况

x = np.arange(10,20)
n = len(x)
# 计算每个分位数的位置,这个位置是从1开始的。但是数组元素索引从0开始的
q1_index=1+(n-1)*0.25
q2_index=1+(n-1)*0.5
q3_index=1+(n-1)*0.75
q1_index,q2_index,q3_index

# 计算分位数
index = np.array([q1_index,q2_index,q3_index])
index
left = np.floor(index).astype(np.int32)
left
right = np.ceil(index).astype(np.int32)
right
weight = np.modf(index)[0]
weight
q = x[left] + (x[right] - x[left]) *weight
q

结果如下:

绘制图形:

plt.figure(figsize=(15,4))
plt.xticks(x)
plt.plot(x,np.zeros(len(x)),ls="",marker="D",ms=15,label="元素值")
plt.plot(q,np.zeros(len(q)),ls="",marker="X",ms=15,label="四分位值")
plt.legend()
for v in q:
    plt.text(v,0.01,v,fontsize=15)
plt.legend()

结果如下:

5)numpy中计算分位数的函数:quantile()

x = np.arange(10,19)
np.quantile(x,[0.25,0.5,0.75])

x = np.arange(10,20)
np.quantile(x,[0.25,0.5,0.75])

结果如下:

从结果中可以看到:上述我们自己计算的分位数结果,和使用该函数计算的分位数的结果,是一样的。

6)pandas中计算分位数的函数:describe()

x = pd.Series(np.arange(10,19))
x.describe()

x = pd.Series(np.arange(10,20))
x.describe()

结果如下:

注意:describe()中可以传入percentiles参数,获取指定分位数的值。

x = pd.Series(np.arange(10,19))
x.describe(percentiles=[0.25,0.5,0.75,0.9])

结果如下:

6、离散程度

1)极差、方差、标准差的概念

2)极差、方差、标准差的作用

极差的计算非常简单,但是极差没有充分的利用数据信息。

方差(标准差)可以体现数据的“分散性”,方差(标准差)越大,数据越分散,方差(标准差)越小,数据越集中。

方差(标准差)也可以体现数据的“波动性”(稳定性)。方差(标准差)越大,数据波动性越大。

方差(标准差)越小,数据波动性越小。

当数据较大时,也可以使用n代替n-1。

3)代码:计算鸢尾花数据集中花萼长度的极差、方差、标准差

iris = load_iris()
dt = np.concatenate([iris.data,iris.target.reshape(-1,1)],axis=1)
df = pd.DataFrame(dt,columns=iris.feature_names + ["types"])
display(df.sample(5))

sub = df["sepal length (cm)"].max()  - df["sepal length (cm)"].min()
sub
var = df["sepal length (cm)"].var()
var
std = df["sepal length (cm)"].std()
std
var == std ** 2

结果如下:

绘制图形:

plt.figure(figsize=(15,4))
plt.ylim(-0.5,1.5)
plt.plot(df["sepal length (cm)"],np.zeros(len(df)),ls="",marker="o",ms=10,color="g",label="花瓣长度")
plt.plot(df["sepal width (cm)"],np.ones(len(df)),ls="",marker="o",ms=10,color="b",label="花瓣宽度")
         
plt.axvline(df["sepal length (cm)"].mean(),ls="--",color="g",label="花瓣长度均值")
plt.axvline(df["sepal width (cm)"].mean(),ls="-",color="b",label="花瓣宽度均值")

plt.legend()

结果如下:

7、分布形状:偏度和峰度

1)偏度

① 概念

偏度是统计数据分布偏斜方向和程度的度量,是统计数据分布非对称程度的数字特征。

如果数据对称分布(例如正态分布),则偏度为0。

如果数据左偏分布,则偏度小于0,如果数据右偏分布,则偏度大于0。

② 代码如下

t1 = np.random.randint(1,11,100)
t2 = np.random.randint(11,21,500)
t3 = np.concatenate([t1,t2])
left_skew = pd.Series(t3)

t1 = np.random.randint(1,11,500)
t2 = np.random.randint(11,21,100)
t3 = np.concatenate([t1,t2])
right_skew = pd.Series(t3)

display(left_skew.skew(),right_skew.skew())
sns.kdeplot(left_skew,shade=True,label="左偏")
sns.kdeplot(right_skew,shade=True,label="右偏")
plt.legend()

结果如下:

2)峰度

① 概念

峰度是描述总体中所有取值分布形态陡缓程度的统计量,可以讲峰度理解为数据分布的高矮程度,峰度的比较是相对于标准正态分布的。

对于标准正态分布,峰度为0。

如果峰度大于0,说明数据在分布上比标准正态分布密集,方差(标准差)较小。

如果峰度小于0,说明数据在分布上比标准正态分布分散,方差(标准差)较大。

② 代码如下

standard_normal = pd.Series(np.random.normal(0,1,10000))
display("标准正态分布峰度",standard_normal.kurt(),"标准差:",standard_normal.std())
display("花萼长度峰度",df["sepal length (cm)"].kurt(),"标准差:",df["sepal length (cm)"].std())
display("花萼宽度峰度",df["sepal width (cm)"].kurt(),"标准差:",df["sepal width (cm)"].std())

sns.kdeplot(standard_normal,label="标准正态分布")
sns.kdeplot(df["sepal length (cm)"],label="花萼长度")
sns.kdeplot(df["sepal width (cm)"],label="花萼宽度")

结果如下:

以上就是本文的全部内容。

本文分享自微信公众号 - 凹凸数据(alltodata),作者:黄伟呢

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-03-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 天猫双11数据过于完美?我们用python来看看

    天猫官方公布了今年的双11成交额为2684亿元,成功刷新了自己创下的商业纪录。按理说大家已经习惯了逐年增长,没想到

    朱小五
  • matplotlib相关图形绘制(二)

    箱线图是由一组数据的最大值、最小值、中位数、两个四分位数(上、下四分位数)这五个特征值绘制而成的,它主要的作用是反应原始数据分布的特征,还可以进行多组数据分布特...

    朱小五
  • 对比Excel,学习pandas数据透视表

    朱小五
  • 别动不动就画折线图了,教你4种酷炫可视化方法

    散点图、线图、直方图、条形图和箱形图,这些都是简单而强大的可视化方法,通过它们你可以对数据集有深刻的认识。在本文中,我们将看到另外 4 个数据可视化方法!

    昱良
  • 如何在O(1)内找到实时序列的最小值?

    最小栈,能在O(1)内找到栈内序列的最小值,因此此特性经常用于提升算法性能。下面看看它的一种实现。

    double
  • python | 读文件 | csv 、json、pickle、sql等

    来说下pandas用于读取的文件格式有那些吧,这些读取方法获取文件的速度超级快,很实用。

    努力在北京混出人样
  • Python通过两个dataframe用for循环求笛卡尔积

    这段代码的思路是对两个表的每一行进行循环,运行速度比较慢,复杂度应该是O(m*n),m是A表的行数,n是B表的行数。

    砸漏
  • 2014年大数据和预测分析的动力

    从预测市场趋势到获取客户需求的洞察力,预测分析可以帮助企业利用他们的数据发现新的机遇并赢得竞争对手。 然而, 研究发现,企业并不是用大数据和预测分析来实...

    静一
  • [数据分析工具] Pandas 功能介绍(二)

    我们需要看第一季度的数据是怎样的,就需要使用条件过滤

    数据分析
  • IDEA 打war包

    Build------>build artifacts----->xxxxx.war

    week

扫码关注云+社区

领取腾讯云代金券