R&Python Data Science 系列：数据处理（1）

0 前言

数据科学主要以统计学、机器学习、数据可视化等，使用工具将原始数据转换为认识和知识（可视化或者模型），主要研究内容包括数据导入、数据转换、可视化、构建模型等。当前R语言和Python是两门最重要的数据科学工具，本系列主要介绍R和Python在数据导入、数据转换、可视化以及模型构建上的使用。整个系列会按照数据转换、可视化、数据导入、模型构建进行介绍。在数据转换和可视化模块中，R和Python有很多相近的语法代码。

1 数据转换

数据转换广义上也是数据处理，是根据业务需求，筛选、衍生新的变量以及计算一些统计量。

这一部分介绍一下R和Python数据处理用到的筛选、衍生以及计算函数。主要介绍如何使用R语言和Python中的两个程序包进行数据处理，R语言中的dplyr和Python中的dfply第三方包。

正如上图所示，两种工具的函数名几乎是一样的，是因为Python包中的dfply是两位工程师是在pandas DataFrames中使用python中的管道函数进行R语言风格开发的数据处理程序包。

2 数据集

数据转换、可视化模块，会使用内置的数据集diamonds数据集，数据集共53940行，有carat、cut、color、clarity、depth、table、price、x、y、z共10列，对应每个钻石的一些参数值。

3 管道函数

不管是Python还是R语言，须先了解一下管道函数，管道函数是将上一步的结果直接传参给下一步的函数，从而省略了中间的赋值步骤，可以大量减少内存中的对象，节省内存。下面是Python和R中常用的一个管道函数:

Python

from dfply import *
import numpy as np
import pandas as pd
##筛选cut为Ideal记录的前4行
diamonds >> filter_by(X.cut == 'Ideal') >> head(4)

R语言

library(ggplot2)
library(tidyverse)
library(tidyr)
library(dplyr)
##筛选cut为Ideal记录的前4行
diamonds %>% filter(cut == 'Ideal') %>% head(4)

上述代码为：将diamonds传给筛选函数，然后将筛选出来的数据集传给head()函数。注意Python与R语言中有点不同，Python中使用X记录了每一步的结果，当需要选择结果中的列的是需要使用X，而R语言则不需要这个中间变量。例如选择diamonds数据集中的cut和price两列：

Python实现

##选择cut和price列，取最后5行
diamonds >> select(X.cut, X.price) >> tail(5)

R语言实现

##选择cut和price列，取最后5行
diamonds %>% select(cut, price) %>% tail(5)

提前说明：下面例子实现，先用python实现，然后再使用R语言实现。

4 筛选函数

4.1 select函数

select函数用于选择数据集中某(几）列：

Python实现

##选择cut和price列，取前3行
diamonds >> select(X.cut, 'price', X.x) >> head(3)

也可以根据参数快速筛选出相应数据

starts_with('c') ：查找以字符c前缀开头的列；

ends_with('c')：查找以字符c后缀结束的列；

contains('c')：筛选出包包字符c的列；

everything(）：所有列。

##筛选出以c开头的列：
diamonds >> select(starts_with('c')) >> head(3)

python中用~符号取反，若想删除数据集以c开头的列：

##删除数据集以c开头的列
diamonds >> select(~starts_with('c')) >> head(3)

R语言实现

##筛选指定的几列
diamonds %>% select(cut, price) %>% head(3)

##筛选出以字符c开头的列
diamonds %>% select(starts_with('c')) %>% head(3)

##删除以字符c开头的列
diamonds %>% select(-starts_with('c')) %>% head(3)

注意：python取反符号为~，R语言中取反函数为-。

4.2 row_slice函数

使用row_slice进行行切片操作，可以传递单个整数索引或者索引列表选择行：

Python实现

##筛选出diaminds中第11行和第16行
diamonds >> row_slice([10,15])

R语言实现

##筛选出diaminds中第11行和16行的数据
diamonds %>% slice(c(11,16))

注意：行切片，python中使用row_slice()函数，R语言中使用slice()函数；Python中索引是从0开始的，R语言中是从1开始的。

4.3 sample函数

使用参数和关键词进行数据抽样，Python中参数frac按比例抽样，n指定抽样的行数，replace限制是否重复抽样:

Python实现

##抽样diamonds数据0.0001比例的数据,可以重复抽样
diamonds >> sample(frac = 0.0001, replace = True)

##从diamonds数据集中随机抽取5条，不可以重复抽样
diamonds >> sample(n = 5, replace = False)

R语言实现

##随机抽取0.0001比例数据，可以重复抽样

diamonds %>% sample_frac(0.0001, replace = TRUE)

##随机抽取5条数据，不可以重复抽样

diamonds %>% sample_n(5, replace = FALSE)

注意：python中按比例抽样和抽样指定的几列，是通过参数限制的；R语言按比例抽样使用sample_frac()函数，抽样几列使用sample_n()函数

4.4 distinct函数

选择唯一值，这里需要注意的是，查看某列有几个唯一值，python中需要先select()函数选择这一列，然后再使用distinct,或者先distinct，再使用select；若直接使用distinct，则所有列全部输出，某个类别输出的是该类别的一行，观察下面两个输出的区别：

Python实现

##查看cut类有几种类别
diamonds >> select(X.cut) >> distinct()

##若直接使用distinct函数
diamonds >> distinct(X.cut)

R语言实现

R语言中可以直接使用distinct函数，如果想输出其他列（全部输出），使用参数.keep_all = TRUE限制

##查看cut类有几种类型
diamonds %>% distinct(cut)

##查看cut类有几种类型,并显示其他列
diamonds %>% distinct(cut, .keep_all = TRUE)

注意在python和R中distinct()函数有细微的差别。

4.5 filter_by函数

按照某种条件进行筛选，python中也可以使用mask()函数，两者等价。

python实现

##筛选cut为Ideal且price小于337的记录
diamonds >> filter_by(X.cut == 'Ideal', X.price < 337)

R语言实现

##筛选cut为Ideal且price小于337的记录
diamonds %>% filter(cut == 'Ideal'& price < 337)