利用Python进行描述统计
引言：在数据分析时，对大量信息进行归纳是最基本的任务，而这就需要用到描述统计方法。
变量
变量的概念
变量（Variable）：指在研究对象中某种令人感兴趣的、取值会有变化的特征，比如研究对象是全体大学生，那么变量可以是身高、体重等特征。
变量的分类
首先变量可以分为：
1.定性型（分类）变量 分类变量的取值可能是数值型或是非数值型的。比如，对于某产品的满意度调查，那么可以得到“满意-不满意”的非数值型结果，也可以得到“5-1”的数值型结果，而且这两者是可以人为进行转换的，并无本质上的区别。
2.定量型变量 定量型变量的取值一定是数值型的。既然是数值型的，那就可以分为：
- 连续性变量：在某个区间内，取值不断变化的量；
- 离散型变量：变量的可能取值构成的是一个不相连的数字集合。
实际中，因测量方法的限制，连续和离散的界限有时是模糊的。统计分析时所讲的离散，一般是指定量型变量只能取很少几个值的情况。
描述统计方法
描述统计的目标是总结、提炼数据，一共有3种方法：制表法、绘图法和数值法，根据变量类型的不同，描述方法也会有所不同。
制表法
制表法其实就是基于频数分布表的方法，对于定性型变量和定量型变量都有效。
- 频数，就是该观测值的数量；
- 相对频数，就是该类别数量占总体数量的比例。
定性型变量
下图是关于是否同意“男性的能力天生比女性强”的说法的频数分布表。
定量型变量
定量型变量一般都会先把原始数据进行分组，然后再绘制成频数分布表，下图是一个学生成绩的频数分布表。 分组原则：不重不漏。 不重指的是每个数值都只能出现在一个分组中，不漏指的是分组应该包含所有数值，不能漏了任何一个。
绘图法
定性型变量
定性型变量在绘图时，基本上只有两种常用的图形，分别是条形图和饼图。
定量型变量
绘图时需要关注的主要特征
- 集中趋势
- 离散程度
- 分布形状
- 异常值
直方图
直方图适用于大量的数据，其形状和分组有很大的关系。
直方图v.s.柱状图 条形图和直方图看起来十分类似，但实际上存在很大的区别，直方图不同的组别之间是没有间隙的，所以适用于连续型变量。
箱线图
说明：
- 四分位差IQR = Q3 - Q1
- 上边缘 = Q3 + 1.5IQR
- 下边缘 = Q1 - 1.5IQR
- 注意：上下边缘并非最大最小值，一般超过上下边缘的称为异常值。
数值法
注意：数值法一般只用于定量型变量。
数值法需要关注的主要特征
- 集中趋势
- 离散程度
- 相对位置
集中趋势的度量
集中趋势是指一组数据向某一中心值靠拢的程度，反映了一组数据中心点的位置所在。
均值
与总体相关的描述统计量一般用希腊字母表示，而与样本相关的一般用英文字母表示。
均值容易受异常值的影响，所以一般跟财富相关的指标，都不适合采用均值，因为财务情况一般都是符合二八定律的。
二八定律：20%的人掌握着80%的财富，剩下20%的人掌握着20%的财富。 二八定律中的“二”表示的是少数，而非精确的20%，“八”也同理，该定律同样适用于其他很多领域。
均值计算公式
中位数
中位数不易受到异常值的影响。
相对位置的度量
百分位数
百分位数 百分位数将所有观测值分成100份，反映的是一个数据在所有观测值中的相对位置。
第p百分位数：表明有p%的数据小于或等于这个数，有(100-p)%的数据大于或等于这个值。
比如，在某次考试中，某位考生取得了70分，他的成绩如何并不容易知道，但是如果知道70分对应的是第90百分位数，我们就能知道大约90%的学生的考分比他低，而约10%的学生考分比他高。
如何计算第p百分位数？ Step1：将所有观测值从小到大排列。
Step2：计算i = (p/100)n p是所求的百分位数的位置，n是项数。
Step3：
- 若i不是整数，则将i向上取整，所得的数字即为第p百分位数的位置；
- 若i是整数，则第p百分位数是第i项和第(i+1)项数据的平均值。
四分位数
四分位数其实就是特殊的百分位数，将数据划分为4个部分，每一个部分大约包含有1/4即25%的数据项。
Q1 = 第1四分位数，即第25百分位数 Q2 = 第2四分位数，即第50百分位数 Q3 = 第3四分位数，即第75百分位数 注意：要把四分位数的上下限，和箱线图的上下限区分开。
如何求四分位数？ 四分位数是特殊的百分位数，因此，计算百分位数的方法可以直接用来计算四分位数。 注：四分位数位置的确定方法有几种，每种方法得到的结果会略有差异，但不会很大。而且不同的计算方法其本质都是将数据大概分为4个部分。
本计算方法参考：《商务与经济统计(第11版)》
注：i的结果同样存在整数和非整数两种情况，具体参考计算百分位数的方法。
计算四分位数的例子 题目：
答案：
离散程度的度量
离散程度在有的书里也叫变异性，波动大小，其实都是表达同一个意思，反映的是各变量值远离其中心值的程度。
极差（全距）
极差 = 最大值 - 最小值 极差非常简单，但容易受到极端值的影响。
四分位差（四分位矩）
四分位差 IQR = Q3 - Q1 四分位差反映了中间50%的数据的离散程度，较难受到极端值的影响。
标准差和方差
标准差计算公式
注：如果只是单纯的想要计算样本的标准差，那么应该使用公式（2）；如果是想通过样本标准差推断总体标准差，那么就应该使用公式（1）。
方差就是标准差的平方。
Z分数（标准计分）
上面的所有指标度量的都是所有观测值的离散程度，而Z分数能够度量单独一个数据的离散程度，常用来比较来自于不同分布（不同总体）或不同量级的观测值。
Z分数计算公式
Z分数应用例子
从Z分数的大小即可判断这个温度在North Bend更奇怪。
利用Python进行统计描述
绘图法：Matplotlib
用Python绘制条形图
# 导入需要用到的库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# 准备数据
x = ['Cat1', 'Cat2', 'Cat3', 'Cat4', 'Cat5']
y = [5, 4, 8, 12, 7]
# 用 Matplotlib 画条形图
plt.bar(x, y)
plt.show()
用Python绘制饼图
# 导入需要用到的库(代码同条形图)
# 数据准备
nums = [25, 37, 33, 37, 6]
labels = ['High-school', 'Bachelor', 'Master', 'Ph.d', 'Others']
# 用 Matplotlib 画饼图
plt.pie(x=nums, labels=labels)
plt.show()
用Python绘制直方图
# 数据准备
a = np.random.randn(100) # 从标准正态分布中随机抽取了100个数值
s = pd.Series(a)
# 用 Matplotlib 画直方图
plt.hist(s)
plt.show()
用Python绘制箱线图
# 数据准备
data = np.random.normal(size=(10,4)) # 生成 0-1 之间的 10*4 维度数据
labels = ['A', 'B', 'C', 'D']
# 用 Matplotlib 画箱线图
plt.boxplot(data, labels=labels)
plt.show()
数值法：pandas
用Python计算和中位数
import pandas as pd
# 准备数据
s = pd.Series([3, 3, 6, 7, 7, 10, 10, 10, 11, 13, 30])
s.mean() # 求均值
s.median() # 求中位数用Python计算四分位数
import pandas as pd
# 准备数据
s = pd.Series([3, 3, 6, 7, 7, 10, 10, 10, 11, 13, 30])
s.quantile([0.25, 0.5, 0.75]) # Q1,Q2,Q3
如果觉得上面一个一个函数的调用太麻烦，那么可以使用describe( )函数，一次性输出多个统计指标。
df = pd.DataFrame([3, 3, 6, 7, 7, 10, 10, 10, 11, 13, 30])
df.describe() # 一次性输出多个统计指标
参考资料：
- 基于R语言的社会统计学分析
- 《深入浅出统计学》
- 《统计学》
- 《商务与经济统计(第11版)》