◆ Spark 的基础统计模块即MLlib组件中的Basic Statistics部分
◆ Basic Statistics主要包括Correlation 与Hypothesis testing等
◆ 其大多被封装在orq.apache spark.mllib.stat._ 中
◆ 描述性统计 平均数,方差,众数,中位数…
◆ 相关性度量 spark 提供了皮尔逊和斯皮尔曼相关系数,反映变量间相关关系密切程度
◆ 假设检验 根据一定假设条件,由样本推断总体的一种统计学方法,spark提供了皮尔森卡方检测
◆ 实战的数据来源是北京市历年降水量数据
◆ 学习使用spark对数据进描述性统计
◆ 在进行机器学习模型的训练前,可以了解数据集的总体情况
◆ 是一种研究变量之间线性相关程度的量
◆ 主要学习皮尔逊相关系数:
几组(x, y)的点集,以及各个点集中x和y之间的相关系数。我们可以发现相关系数反映的是变量之间的线性关系和相关性的方向(第一排),而不是相关性的斜率(中间),也不是各种非线性关系(第三排)。请注意:中间的图中斜率为0,但相关系数是没有意义的,因为此时变量Y是0
我们对北京市历年降水量进行相关性统计,看看年份与降水量之间的相关性有多大
◆ 根据一定假设条件,由样本推断总体的一种统计学方法。基本思路是先提出假设(虚无假设),使用统计学方法进行计算,根据计算结果判断是否拒绝
假设
◆ 假设检验的统计方法有很多,如卡方检验,T检验等
◆ spark实现的是皮尔森卡方检验,它可以实现适配度检测和独立性检测
最常用的卡方检验,可以分为适配度检验和独立性检验
◆ 适配度检验:验证观察值的次数分配与理论值是否相等
◆ 独立性检验:两个变量抽样到的观察值是否相互独立
否定了假设检验,所以性别与左撇子是有关的!