R语言数据处理:飞机航行距离与到达延误时间有什么关系??

数据分析有一半以上的时间会花在对原始数据的整理及变换上,包括选取特定的分析变量、汇总并筛选满足条件的数据、排序、加工处理原始变量并生成新的变量、以及分组汇总数据等等。这一点,我想大部分使用EXCEL的童鞋都深有体会,写论文时,这么多的数据进行处理,手动汇总、筛选、变换,工作量实在是太大。而本文介绍的dplyr包简直就是Hadley Wickham (ggplot2包的作者,被称作“一个改变R的人”)大神为我们提供的“数据再加工”神器啊。

本文试图通过一个案例,对神奇的dplyr包的一些常用功能做简要介绍。在此抛砖引玉,欢迎广大盆友拍砖。先放上实践课的一个问题:航行距离与到达延误时间有什么关系?? 带着这个问题,我们将首先使用dplyr包对给出的航班数据进行处理。

1.dplyr包的安装加载与示例数据准备

1.1 安装dplyr包

脚本输入代码:

install.packages("dplyr") #加载dplyr包

library(dplyr)

1.2安装 nycflights13包,该软件包中的飞机航班数据将用于本文中dplyr包相关函数的演示。

脚本输入代码:

install.packages("nyclights13") #加载nyclights13

library(nyclights13)

flights #查看数据表

dim(flights) #查看变量的维数

输出结果如下:

如图可知,nycflights13是一个data.frame类型的对象,包含336776条数据记录、19个变量。

在处理数据之前,让我们再来回顾一下数据处理的一般步骤:

选择子集、列名重命名、删除缺失数据、处理日期、数据类型转换、数据排序

接下来,就可以进行数据处理了:

2.数据处理

2.1 选择子集

所谓选择子集,就是选择出能够实现分析目标的变量,本次数据分析的目标是得出航行距离与延误时间的关系,因此,相应的子集就是以下几个字段:

year 航班日期-年

month 航班日期-月

day 航班日期-月

dep_delay 起飞延迟时间(分)

arr_delay 到达延迟时间(分)

distance 航行里程(英里)

dest 目的地

为此,我们首先使用dpylr包里的select函数,进行变量筛选:

脚本输入代码:

myFlights <- select(flights, year,month, day,dep_delay,arr_delay,distance,dest) #筛选变量列

myFlights #查看数据表

如图,子集选择完毕。

2.2 列名重命名

为了让列名简单易懂,可以使用rename函数,进行列名重命名。

脚本输入代码:

myFlights <- rename(myFlights, destination = dest)

myFlights

重命名完毕。

2.3 删除缺失数据

我们采用dplyr包中的filter()函数,进行缺失数据的删除。脚本输入代码:

myFlights <- filter(myFlights,!is.na(dep_delay),!is.na(arr_delay))

myFlights

由图可知,我们首先采用is.na()函数找出缺失值,再采用逻辑运算符“!X”将限定有效数据,最后用filter()函数“过滤”得到有效数据,成功地删除了缺失数据(由原先的336,776个数据变为327,346个数据)。

2.4 数据排序

为了数据的整齐性,我们可以选择相应的变量进行排序。这里要穿插一个排序函数arrange(),默认情况下,为升序排列,也可以对列名加desc()进行降序排序。脚本输入代码:

myFlights <- arrange(myFlights, desc(arr_delay))

myFlights

如图所示,数据按照变量arr_delay(到达延迟时间(分))进行降序排列。

3.数据计算

数据处理之后,就进入计算分析步骤啦。在这个环节,主要历经三个过程:

数据分组(Split):可以指定目标变量,将数据进行分组。由于本次分析的目标是找出航行距离与到达延误时间的关系,所以我们得根据到达目的地对数据进行分组,从而计算出不同目的地的平行航行距离以及平均延误时间;

应用函数(Apply):对不同组的数据,应用相应函数获取所需统计指标。比如本次不同目的地的平行航行距离以及平均延误时间;

组合结果(Combine):将计算后的统计指标值与第一步当中对应的分组进行组合。

3.1 数据分组

dplyr包里的分组是由group_by()函数实现的,脚本输入代码:

by_dest <- group_by(myFlights, destination)

class(by_dest)

by_dest

由图可知,经分组后,一共有104组数据,即本次分析的目的地有104个。

3.2 应用函数及组合结果

我们使用dplyr包中的summarize()函数,进行数据统计指标的获取及组合。计算出不同目的地的平行航行距离以及平均延误时间。脚本输入代码:

delay_sum <- summarise(by_dest, count = n(),#统计各分组目的地的航班数

dist = mean(distance, na.rm = TRUE),

delay = mean(arr_delay, na.rm = TRUE))

delay_sum <- arrange(delay_sum, desc(count)) #按照航班数降序排列

delay_sum

从上图可得知104个目的地的航班数排序。为了统计的科学合理性,需要对数据量太少的组别进行剔除,即剔除噪音数据,再次使用filter()函数剔除,剔除限度设为count>20。脚本输入代码:

delay_sum <- arrange(delay_sum, desc(count))

delay_sum <- filter(delay_sum , count > 20)

如上图可知,剩余97组数据,即本次参与统计的目的地有97个。

PS.这里穿插一个好用的工具,“管道”,即通过使用操作符把数据集名作为开头, 然后依次对此数据进行多步操作。这种运算符的编写方式使得编程者可以按数据处理时的思路写代码, 一步一步操作不断叠加,在程序上就可以非常清晰的体现数据处理的步骤与背后的逻辑。

通过管道的连接方式,让数据或表达式的传递更高效,使用向右操作符%>%,可以直接把数据传递给下一个函数调用或表达式。(%>%是最常用的一个操作符,就是把左侧准备的数据或表达式,传递给右侧的函数调用或表达式进行运行,可以连续操作就像一个链条一样。)拿上述的代码进行举例,在没用管道之前,代码是这样的:

by_dest <- group_by(myFlights, destination)#按目的地分组

delay_sum <- summarise(by_dest, count = n(),#统计各分组目的地的航班数

dist = mean(distance, na.rm = TRUE),#计算平均航行距离

delay = mean(arr_delay, na.rm = TRUE))#计算平均延误时间

delay_sum <- arrange(delay_sum, desc(count)) #按照航班数降序排列

delay_sum <- filter(delay_sum , count > 20)#剔除噪音数据

delay_sum#显示列表

用了管道“%>%”,代码是这样的:

delay_sum <- myFlights %>% #将右侧航行数据赋值给左侧delay_sum

group_by(destination) %>% #对delay_sum进行分组

summarise( count = n(),

dist = mean(distance, na.rm = TRUE),

delay = mean(arr_delay, na.rm = TRUE)

) %>% #对分组后的delay_sum进行计算统计

filter(count > 20)#对统计结果进行噪音剔除

delay_sum#显示列表

果然简洁了很多!

4.数据显示

所谓一图胜千言啊,在大数据可视化普及的今天更是这样。本次同样使用Hadley Wickham 大神(ggplot2包的作者)贡献的ggplot2包进行绘图。调用ggplot()函数进行绘图,脚本输入代码:

ggplot(data = delay_sum) +

geom_point(mapping = aes(x = dist, y = delay)) +#绘制平均航程(dist)和平均延误时间(delay)的散点图

geom_smooth(mapping = aes(x = dist, y = delay))#拟合一条平滑曲线(注意,连接符号+不可省略)

所得结果如下所示:

由上图,我们就可以初步分析航程和延误时间并非线性关系,至于这种非线性关系该怎么解释,仍需进一步统计调查分析。

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2017-05-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏媒矿工厂

基于MCMC的X265编码参数优化方法

新一代视频编码标准,包括高效视频编码HEVC和音频视频编码标准AVS2近年来已被提出以进一步提高H.264/AVC编码标准的压缩性能。在相同的主观视觉的前提下,...

33330
来自专栏ATYUN订阅号

使用Tensor2Tensor和10行代码训练尖端语言翻译神经网络

有许多库可以帮助人们构建深度学习应用程序,但如果想使用最新架构的最先进模型和最少的代码,有这样一个API脱颖而出:Google的Tensor2Tensor。我通...

30820
来自专栏机器之心

教程 | 如何通过PyTorch上手Tensor Comprehensions?

选自pytorch 作者:Priya Goyal等 机器之心编译 参与:乾树、黄小天 Tensor Comprehensions 是一个降低高性能代码编写门槛的...

31970
来自专栏机器学习算法与Python学习

神经网络图灵机

摘要 本文通过引入一个使用注意力程序进行交互的外部存储器(external memory)来增强神经网络的能力。新系统可以与图灵机或者冯·诺依曼体系相类比,但每...

35390
来自专栏Python爬虫与算法进阶

爬取 Stackoverflow 100 万条问答并简单分析

作为一个热爱编程的大学生,怎么能不知道面向 stackoverflow 编程呢。 打开 stackoverflow 主页,在 questions 页面下选择按...

35050
来自专栏机器之心

教程 | 如何使用JavaScript构建机器学习模型

选自:hackernoon 作者:Abhishek Soni 参与:李泽南 目前,机器学习领域建模的主要语言是 Python 和 R,前不久腾讯推出的机器学习框...

34260
来自专栏编程心路

人人都可以用C语言写推箱子小游戏

C语言,作为大多数人的第一门编程语言,重要性不言而喻,很多编程习惯,逻辑方式在此时就已经形成了。这个是我学习 C语言 后写的推箱子小游戏,自己的逻辑能力得到了提...

1.1K40
来自专栏技术总结

算法(1)

24670
来自专栏落影的专栏

基于视锥体(平截体)的OpenGL ES性能优化

教程 OpenGLES入门教程1-Tutorial01-GLKit OpenGLES入门教程2-Tutorial02-shader入门 OpenGLES入门...

35670
来自专栏吕晟的专栏

机器学习库初探之 TensorFlow

什么是TensorFlow?TensorFlow™ 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表...

77610

扫码关注云+社区

领取腾讯云代金券