R语言-中国各城市PM2.5数据间的相关分析

中国各城市PM2.5数据间的相关分析

相关分析(correlation analysis)是研究现象之间是否存在某种依存关系,并对具体有依存关系的现象探讨其相关方向以及相关程度,是研究随机变量之间的相关关系的一种统计方法。分类:

  • 线性相关分析:研究两个变量间线性关系的程度,用相关系数r来描述。常用的三种计算方式有Pearson相关系数、Spearman和Kendall相关系数。
  • 偏相关分析:当两个变量同时与第三个变量相关时,将第三个变量的影响剔除,只分析另外两个变量之间相关程度的过程。如控制年龄和工作经验的影响,估计工资收入与受教育水平之间的相关关系。

在变量较多的复杂情况下,变量之间的偏相关系数比简单相关系数更加适合于刻画变量之间的相关性。

PM2.5细颗粒物指环境空气中空气动力学当量直径小于等于2.5微米的颗粒物。它能较长时间悬浮于空气中,其在空气中含量浓度越高,就代表空气污染越严重。与较粗的大气颗粒物相比,PM2.5粒径小,面积大,活性强,易附带有毒、有害物质(例如,重金属、微生物等),且在大气中的停留时间长、输送距离远,因而对人体健康和大气环境质量的影响更大。

近日,京津冀遭遇“雾霾锁成”,廊坊、保定、石家庄、邢台、邯郸成为污染最严重地区。

很多网站提供了PM2.5(细颗粒物)及空气质量指数(AQI)的实时查询,比如:PM25.in北京市环境检测中心等等。这些网站只是对数据进行了展示,有的还做了很漂亮的可视化,但却没有做进一步的数据分析。

舍恩伯格在《大数据时代》一书中这样写道:“我们没有必要非得知道现象背后的原因,而是要让数据自己发声。”以及“相关关系能够帮助我们更好地了解这个世界。”他认为,建立在相关关系分析法上面的预测是大数据的核心。通过找到“关联物”并监控它,我们就能够预测未来。

近年来,在生物学、社交网络和健康科学等领域常采用偏相关分析法应对高维变量的系统关联性问题;这种方法对分析我国几百个城市间的PM2.5数据之间的关联关系是否有效?下面,借助我从网上找到的PM2.5数据,通过R语言软件包对数据分别进行线性相关分析和偏相关分析。R是用于统计分析、绘图的语言和操作环境。R语言的spaceExt包的glasso.miss函数采用LASSO加罚的极大似然函数法,基于BIC准则确定惩罚参数,可以测算出几百个城市的PM2.5数据之间的偏相关系数稀疏矩阵,这个矩阵可以用来描述不同城市间PM2.5的复杂关系。

  1. 载入程序包&读入PM2.5数据
library(spaceExt)

library(igraph)

pm=read.csv(file.choose(),header = T)
  1. 数据查看
#查看部分数据摘要

ct=c(which(colnames(pm)=="北京市"),which(colnames(pm)=="天津市"),which(colnames(pm)=="石家庄市"))

knitr::kable(summary(pm[,ct]))

北京市

天津市

石家庄市

Min. : 30.00

Min. : 37.0

Min. : 34.0

1st Qu.: 64.75

1st Qu.: 71.0

1st Qu.: 89.0

Median : 94.00

Median :105.0

Median :134.0

Mean :122.98

Mean :124.4

Mean :160.2

3rd Qu.:155.75

3rd Qu.:162.0

3rd Qu.:216.0

Max. :394.00

Max. :372.0

Max. :487.0

NA’s :1

NA

NA

boxplot(pm[,ct],col=3:5)
#移除PM2.5数据缺失较多的城市

sel=which(rowSums(is.na(pm))>120)

pm_s = pm[,sel]#数据标准化

pm_sc<-scale(pm_s[,-1]) 
  1. 线性相关分析
cor_pm = cor(pm_sc)

g1=graph.adjacency(cor_pm>0.8, mode="lower", weighted=NULL, diag=FALSE, add.colnames=NULL, add.rownames=NA)

cl=c("#FFFF37","#00FF7F","#FF8000","#FF0080","#FF77FF","#4DFFFF","deepskyblue","chocolate","#FFAD86","#C07AB8")

com = walktrap.community(g1, steps = 3) 
#子群划分

V(g1)$sg = com$membership + 1

V(g1)$color = cl[V(g1)$sg] 
  1. 偏相关分析
res=glasso.miss(pm_sc,rho=0.5,emIter=10 ,penalize.diagonal=FALSE)
## [1] "Em step: 1"

## [1] "Em step: 2"

## [1] "Em step: 3"

## [1] "Em step: 4"

## [1] "Em step: 5"

## [1] "Em step: 6"

## [1] "Em step: 7"

## [1] "Em step: 8"

## [1] "Em step: 9"

## [1] "Em step: 10"
  1. 图网络模型可视化

上图展现的是相关系数大于0.8的各城市间的关联关系,其中不同颜色是使用随机游走方法进行的子群划分。

这幅图用LASSO加罚的极大似然函数法,采用BIC准则方法确定惩罚参数(L1范数=0.5),估计PM2.5数据的高维偏相关稀疏矩阵,然后对矩阵进行的可视化。遗憾的是,没有出来期望中的效果;或许是数据不合理,或许是L1范数值不合适,也有可能是这种复杂的偏相关分析法在分析我国几百个城市间的PM2.5数据之间的关联关系是无效的。总之,线性相关分析可以得出不同城市间的简单相关关系,而我期望的通过偏相关分析得出不同城市间的复杂相关关系如果成功了,可以更深刻的揭示在PM2.5治理过程中,哪些城市更应得到特殊的重视。


原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2016-09-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏noteless

1.计算机发展阶段 计算机发展历史 机械式计算机 机电式计算机 电子计算机 逻辑电路与计算机 二极管 电子管 晶体管 硅 门电路 计算机 电磁学计算机二进制

再后来有了一些数学理论的发展,纳皮尔棒/计算尺则是借助了一定的数学理论,可以理解为是一种查表计算法.

783
来自专栏大数据文摘

聪明人的对策及纳什均衡

2035
来自专栏华章科技

数据分析的基本思想是什么

用数据说话,就是用真实的数据说真实的话!真实也可以理解为求真务实。那么,数据分析就是不断地求真,进而持续地务实的过程!用一句话表达就是用数据说话,用真实的数据说...

883
来自专栏CDA数据分析师

用数据说话——数据分析的基本思想

用数据说话,就是用真实的数据说真实的话!真实也可以理解为求真务实。那么,数据分析就是不断地求真,进而持续地务实的过程!用一句话表达就是用数据说话,用真实的数据说...

2045
来自专栏PPV课数据科学社区

【经典】用五个趣味案例教你数据分析的基本思想

今天和大家分享一下数据分析的一些基本思想,我给它起了个名字叫做用数据说话。内容都是个人的一些心得,比较肤浅!如有不足之处,希望大家谅解!废话不说了,现在咱正式开...

2483
来自专栏大数据文摘

寻找失踪的潜艇,去中心化预测

14810
来自专栏吉浦迅科技

宏伟壮丽的设计:GPU 运算技术如何改变建筑物外形样貌

综合协和式超音速飞机的吸睛线条、雪梨歌剧院的高耸空间,以及鸟巢错综复杂的结构,这正是描述建筑师 Daghan Cam 改写建筑样貌之作品的语汇。 Daghan ...

2443
来自专栏逍遥剑客的游戏开发

GDC2017: 《Lone Echo》中的VR动画

2954
来自专栏机器之心

Gary Marcus:在人工智能上取得成功的「叛逆者」

机器之心原创 编辑:吴攀、李亚洲 Gary Marcus 为机器之心 「2017 全球机器智能峰会」的重要演讲嘉宾。 演讲时间:5 月 27 日,14:50-1...

34310
来自专栏吉浦迅科技

为什么说NVIDIA推出了史上最强的GPU?

8月14日早上北京时间7点,在SIGGRAPH 2018计算机图形与交互技术大会上,英伟达创始人兼CEO黄仁勋推出世界上第一款光线追踪GPU!据媒体报道老黄把这...

954

扫码关注云+社区