# 玩转数据处理120题｜R语言版本

1

```data = {"grammer":["Python","C","Java","GO",np.nan,"SQL","PHP","Python"],
"score":[1,2,np.nan,4,5,6,7,10]}```

R语言解法

```# R中没有字典概念，故直接创建dataframe/tibble
#> 第一种
df <- data.frame(
"grammer" = c("Python","C","Java","GO",NA,"SQL","PHP","Python"),
"score" = c(1,2,NA,4,5,6,7,10)
)
#> 第二种
library(tibble)
df <- tibble(
"grammer" = c("Python","C","Java","GO",NA,"SQL","PHP","Python"),
"score" = c(1,2,NA,4,5,6,7,10)
)
# 也可以用tribble横向建tibble```

2

```grammer  score
0 Python    1.0
7 Python   10.0```

R语言解法

`df[which(df\$grammer == 'Python'),]`

3

`Index(['grammer', 'score'], dtype='object')`

R语言解法

```names(df)
# [1] "grammer" "score"```

4

R语言解法

```df <- df %>%
rename(popularity = score)```

5

R语言解法

```# 神方法table
table(df\$grammer)```

6

```上下两数的均值
df['popularity'] = df['popularity'].fillna(df['popularity'].interpolate())```

R语言解法

```library(Hmisc)
index <- which(is.na(df\$popularity))
df\$popularity <- impute(df\$popularity,
(unlist(df[index-1, 2] +
df[index+1, 2]))/2)```

7

R语言解法

```df %>%
filter(popularity > 3)
# 等价于
df[df\$popularity > 3,] # 这种方法跟pandas很相似```

8

R语言解法

`df[!duplicated(df\$grammer),]`

9

R语言解法

```#> 第一种
mean(df\$popularity)
# [1] 4.75

#> 第二种
df %>%
summarise(mean = mean(popularity))
## A tibble: 1 x 1
# mean
# <dbl>
# 1 4.75```

10

R解法

```unlist(df\$grammer)
# [1] "Python" "C" "Java" "GO" NA "SQL" "PHP" "Python"```

11

R解法

```#R对EXCEL文件不太友好
#文件本质依然是csv
write_excel_csv(df,'filename.csv')

#第二种方法：利用openxlsx包
openxlsx::write.xlsx(df,'filename.xlsx')

#也可以用xlsx包，但需要先配置JAVA环境
#确保JAVA配置到环境变量中并命名为JAVA_HOME
Sys.getenv("JAVA_HOME")
install.packages('rJava')
install.packages("xlsxjars")
library(rJava)
library(xlsxjars)
xlsx::write.xlsx(df,'filename.xlsx')```

12

R解法

```dim(df)
# [1] 8 2```

13

R解法

```library(dplyr)
df %>%
filter(popularity > 3 & popularity <7)
# 等价于
df[(df\$popularity > 3) & (df\$popularity <7),]```

14

R解法

```df <- df %>%
select(popularity,everything())```

15

R解法

```df %>%
filter(popularity == max(popularity))
# 同理也有类似pandas的方法
df[df\$popularity == max(df\$popularity),]```

16

R解法

```# R中head和tail默认是6行，可以指定数字
tail(df,5)```

17

R解法

```df[-dim(df)[1],]
# 等价于
df %>%
filter(rownames(df) != max(rownames(df)))```

18

R解法

```row <- c(6.6,'Perl') # 需要和列的位置对应
# 或者建数据框
row <- data.frame(
"grammer" = c("Perl"),
"popularity" = c(6.6)
)

df <- rbind(df,row)```

19

R解法

```df <- df %>%
arrange(popularity)```

20

R解法

```library(Hmisc)
library(stringr)
df\$grammer <- impute(df\$grammer,'R')
str_length(df\$grammer)

df\$len_str <- str_length(df\$grammer)```

21

R解法

```#R语言处理excel不友好，直接读取日期时间数据会变成实数
#as.Data转换该列后时间数据丢失，只有日期
# 该方法不理想
library(openxlsx)
df\$createTime <- as.Date(df\$createTime,origin="1900-01-01")
# 转存csv后再读

21—50部分习题与该数据相关

22

R解法

```# 默认是6行，可指定行数

23

R解法

```library(stringr)
df\$salary <- df\$salary %>%
str_replace_all('k','') %>%
str_split('-',simplify = T) %>%
apply(2,as.numeric) %>%
rowMeans() * 1000```

24

```education salary

R解法

```df %>%
group_by(education) %>%
summarise(mean = mean(salary))```

25

R解法

```#转化后该列属性是 字符串，R中对时间格式要求严格
df\$createTime <- as.Date(df\$createTime) %>%
str_replace('2020-','')```

26

```<class 'pandas.core.frame.DataFrame'>
RangeIndex: 135 entries, 0 to 134
Data columns (total 4 columns):
createTime 135 non-null object
education 135 non-null object
salary 135 non-null int64
categories 135 non-null category
dtypes: category(1), int64(1), object(2)
memory usage: 3.5+ KB```

R解法

```str(df)

# 内存查看需要用到其他的库
library(pryr)
object_size(df)
# 6.66 kB```

27

R解法

`summary(df)`

28

R解法

```#用ifelse也可以
#底层原理有差别但实现结果一样
df <- df %>%
mutate(categories = case_when(
salary >= 0 & salary < 5000 ~ '低',
salary >= 5000 & salary < 20000 ~ '低',
TRUE ~ '高'
))```

29

R解法

```df %>%
arrange(desc(salary))```

30

R解法

`df[33,]`

31

R解法

```median(df\$salary)
# [1] 17500```

32

R解法

```library(ggplot2)
library(patchwork)

df %>%
ggplot(aes(salary)) +
geom_histogram() +
df %>%
ggplot(aes(salary)) +
geom_histogram(bins = 10) # 这个跟python的bins一致```

33

R解法

```df %>%
ggplot(aes(salary)) +
geom_density() +
xlim(c(0,70000))```

34

R解法

```df <- df[,-4]
# 提高可读性可采用如下代码
df <- df %>%
select(-c('categories'))```

35

R解法

```df <- df %>%
mutate(test = paste0(df\$education,df\$createTime))```

36

R解法

```df <- df %>%
mutate(test1 =
paste0(df\$salary,df\$education))```

37

R解法

```df %>%
summarise(delta = max(salary) - min(salary)) %>%
unlist()
# delta
# 41500```

38

R解法

`rbind(df[1,],df[dim(df)[1],])`

39

R解法

`rbind(df,df[8,])`

40

```createTime object
education object
salary int64
test object
test1 object
dtype: object```

R解法

```str(df)
# tibble [135 x 5] (S3: spec_tbl_df/tbl_df/tbl/data.frame)
# \$ createTime: chr [1:135] "03-16" "03-16" "03-16" "03-16" ...
# \$ education : chr [1:135] "本科" "本科" "不限" "本科" ...
# \$ salary : num [1:135] 27500 30000 27500 16500 15000 14000 23000 12500 7000 16000 ...
# \$ test : chr [1:135] "本科03-16" "本科03-16" "不限03-16" "本科03-16" ...
# \$ test1 : chr [1:135] "27500本科" "30000本科" "27500不限" "16500本科" ...```

41

R解法

```df %>%
tibble::column_to_rownames('createTime')```

42

R解法

```df1 <- sapply(135,function(n) {
replicate(n,sample(1:10,1))
})
# 列名暂时不一样，下一题重命名```

43

R解法

```df <- cbind(df,df1) %>%
rename(`0` = df1)
# 非常规命名需要用``包裹变量名```

44

R解法

```df <- df %>%
mutate(new = salary - `0`)```

45

R解法

```# 这个包的结果呈现非常有趣
library(mice)
md.pattern(df)```

46

R解法

`as.double(df2\$salary)`

47

R解法

```df %>%
filter(salary > 10000) %>%
dim(.) %>%
.[1]```

48

```本科 119

Name: education, dtype: int64```

R解法

`table(df\$education)`

49

R解法

```length(unique(df\$education))
# [1] 4```

50

R解法

```df[df\$salary + df\$new > 60000,] %>%
.[nrow(.)-3+1:nrow(.),] %>%
na.omit(.)```

51

R解法

```# 转存csv后再读

52

R解法

`head(df,3)`

53

```代码 1

.................```

R解法

`colSums(is.na(df))`

54

R解法

`df[is.na(df\$日期),]`

55

```列名："代码", 第[327]行位置有缺失值

................```

R解法

```library(glue)

for (i in names(df)){
if(sum(is.na(df[,'日期'])) != 0){
res1 <- which(is.na(df[,i]))
res2 <- paste(res1,collapse = ',')
print(glue('列名："{i}", 第[{res2}]行有缺失值'))
}
}```

56

Python解法

`df.dropna(axis=0, how='any', inplace=True)`

```axis：0-行操作（默认），1-列操作
how：any-只要有空值就删除（默认），all-全部为空值才删除
inplace：False-返回新的数据集（默认），True-在原数据集上操作```

57

R解法

```library(ggplot2)

df %>%
ggplot(aes(日期,`收盘价(元)`)) +
geom_line()```

58

R解法

```df %>%
ggplot() +
geom_line(aes(日期,`收盘价(元)`), size=1.2, color='steelblue') +
geom_line(aes(日期,`开盘价(元)`), size=1.2, color='orange') +
ylab(c('价格(元)'))
# 这种画出来没有图例，当然可以手动添加，但为了映射方便可以用另一种方法

library(tidyr)

df %>%
select(日期,`开盘价(元)`,`收盘价(元)`) %>%
pivot_longer(c(`开盘价(元)`,`收盘价(元)`),
names_to='type',values_to='price') %>%
ggplot(aes(日期,price,color=type)) +
geom_line(size=1.2) +
scale_color_manual(values=c('steelblue','orange')) +
theme_bw() +
theme(
panel.grid.major = element_blank(),
panel.grid.minor = element_blank(),
legend.title = element_blank(),
legend.position = c(0.86, 0.9)
)```

59

R解法

```df %>%
ggplot(aes(`涨跌幅(%)`)) +
geom_histogram()
# 可以指定bins```

60

R解法

```df %>%
ggplot(aes(`涨跌幅(%)`)) +
geom_histogram(bins=30)```

61

R解法

`temp <- as_tibble(names(df))`

62

R解法

```#换手率这一列属性为chr，需要先强转数值型
#如果转换失败会变成NA，判断即可
df[is.na(as.numeric(df\$`换手率(%)`)),]```

63

R解法

```df %>%
filter(`换手率(%)` == '--')```

64

R解法

```rownames(df) <- NULL

# 如果是tibble则索引始终是按顺序```

65

R解法

```df[!is.na(as.numeric(df\$`换手率(%)`)),]
# 或者根据前几题的经验，非数字就是'--'
df <- df %>%
filter(`换手率(%)` != '--')```

66

R解法

```df\$`换手率(%)` <- as.double(df\$`换手率(%)`)
ggplot(df) +
geom_density(aes(`换手率(%)`))```

67

R解法

```df %>%
summarise(delta = `收盘价(元)` - lag(`收盘价(元)`))```

68

R解法

```df %>%
summarise(pct_change = (`收盘价(元)` - lag(`收盘价(元)`))/lag(`收盘价(元)`))```

69

R解法

```df %>%
column_to_rownames(var='日期')```

70

R解法

```library(RcppRoll)
df %>%
transmute(avg_5 = roll_mean(`收盘价(元)`,n = 5,align="right",fill = NA))```

71

R解法

```df %>%
transmute(sum_5 = roll_sum(`收盘价(元)`,n = 5,align="right",fill = NA))```

72

R解法

```df %>%
mutate(avg_5 = roll_mean(`收盘价(元)`,n = 5,align="right",fill = NA),
avg_20 = roll_mean(`收盘价(元)`,n = 20,align="right",fill = NA)) %>%
ggplot() +
geom_line(aes(日期,`收盘价(元)`),color = 'steelblue',size = 1.2) +
geom_line(aes(日期,avg_5),color = 'orange',size = 1.2) +
geom_line(aes(日期,avg_20),color = 'green',size = 1.2)```

73

R解法

```library(plyr)

res <- dlply(df,.(cut(日期,"1 week")),"[")
res_max <- sapply(res,function(n)max(n\$`收盘价(元)`),simplify=TRUE)
as.data.frame(res_max)```

74

R解法

```res %>%
rownames_to_column('date')
res\$date <- as.Date(res\$date)

ggplot(df) +
geom_line(aes(日期,`收盘价(元)`),color = 'steelblue',size = 1.2) +
geom_line(data = res, aes(date,res_max),
color = 'orange',size = 1.2)```

75

R解法

`lag(df,5)`

76

R解法

`lead(df,5)`

77

R解法

```#R中没有expanding完全一致的函数
#考虑到expanding实际功能就是累积均值
#可以用cummean
#但cummean的功能和我预想的不同
#可能是包之间相互干扰
#最后采用cumsum/1:n的形式完成本题

res <- df %>%
transmute(cummean = cumsum(`开盘价(元)`)/1:dim(df)[1])```

78

R解法

```library(tidyr)
df %>%
cbind(res) %>%
dplyr::rename(Opening_Price = `开盘价(元)`,
Expanding_Open_Mean = cummean) %>%
select(日期,Opening_Price,Expanding_Open_Mean) %>%
pivot_longer(c(Opening_Price,Expanding_Open_Mean),
names_to = 'type',
values_to ='price') %>%
ggplot(aes(日期,price,color = type)) +
geom_line(size=1.2) +
scale_color_manual(values=c('orange','steelblue')) +
theme_bw() +
theme(
panel.grid.major = element_blank(),
panel.grid.minor = element_blank(),
legend.title = element_blank(),
legend.position = c(0.9, 0.9)
)```

79

R解法

```df <- df %>%
mutate(avg_20 = roll_mean(`收盘价(元)`,n = 20,align="right",fill = NA),
upper_bound = avg_20 + 2 * roll_sd(`收盘价(元)`,n = 20,align="right",fill = NA),
lower_bound = avg_20 - 2 * roll_sd(`收盘价(元)`,n = 20,align="right",fill = NA))```

80

R解法

```df %>%
dplyr::rename(former_30_days_rolling_Close_mean = avg_20,
Closing_Price = `收盘价(元)`) %>%
select(日期,Closing_Price,
former_30_days_rolling_Close_mean,upper_bound,lower_bound) %>%
pivot_longer(c(Closing_Price,former_30_days_rolling_Close_mean,upper_bound,lower_bound),
names_to = 'type',
values_to ='price') %>%
ggplot(aes(日期,price,color = type)) +
geom_line(size=1.2) +
scale_color_manual(values=c('steelblue','orange','red','green')) +
theme_bw() +
theme(
panel.grid.major = element_blank(),
panel.grid.minor = element_blank(),
legend.title = element_blank(),
legend.position = c(0.6, 0.2)
)```

81

R语言解法

```packageVersion("tidyverse")
# [1] ‘1.3.0’
packageVersion("dplyr")
# [1] ‘0.8.99.9002’```

82

R语言解法

```df1 <- sapply(20,function(n) {
replicate(n,sample(1:100,1))
}) %>%
as.data.frame(.) %>%
dplyr::rename(`0` = V1)```

83

R语言解法

```df2 <- as.data.frame(seq(0,99,5)) %>%
dplyr::rename(`0` = "seq(0, 99, 5)")```

84

R语言解法

```df3 <- as.data.frame(rnorm(20,0,1)) %>%
dplyr::rename(`0` = "rnorm(20, 0, 1)")```

85

R语言解法

`df <- rbind(df1,df2,df3)`

86

```0 1 2
0 95 0 0.022492
1 22 5 -1.209494
2 3 10 0.876127
3 21 15 -0.162149
4 51 20 -0.815424
5 30 25 -0.303792
...............```

R语言解法

```df <- cbind(df1,df2,df3)
names(df) <- c(0,1,2)```

87

R语言解法

`summary(unlist(df))`

88

R语言解法

```df <- df %>%
dplyr::rename(col1 = 1,
col2 = 2,
col3 = 3)
# 或者用类似pandas的方法
names(df) <- c('col1','col2','col3')```

89

R语言解法

`df[!(df\$col1 %in% df\$col2),1]`

90

R语言解法

```count(unlist(c(df\$col1,df\$col2))) %>%
arrange(desc(freq)) %>%
filter(row_number() <= 3)```

91

R语言解法

`which(df['col1'] %% 5==0)`

92

R语言解法

```df %>%
summarise(col1 - lag(col1)) %>%
na.omit(.) # 不去NA也可以，pandas没有去除```

93

R语言解法

```df %>%
select(col3,col2,everything())```

94

R语言解法

`df[c(1,10,15) + 1,1]`

95

R语言解法

```res1 <- which((df\$col1 - lag(df\$col1) > 0))
res2 <- which((df\$col1 - lead(df\$col1) > 0))

intersect(res1,res2)
# [1] 3 5 7 12 14 17 19

# 另一种方法，类似pandas的用符号判断

res <- sign(df\$col1 - lag(df\$col1))

which(res - lag(res) == -2) - 1
# # [1] 3 5 7 12 14 17 19```

96

R语言解法

`rowMeans(df)`

97

R语言解法

```library(RcppRoll)

df %>%
summarise(avg_3 = roll_mean(col2, n=3))```

98

R语言解法

```df <- df %>%
arrange(col3)```

99

R语言解法

`df[df\$col1 > 50,1] <- '高'`

100

R语言解法

```# 可以利用概念计算
res <- (df\$col1 - df\$col2) ^ 2
sqrt(sum(res))
# [1] 197.0102

# 也可以利用dist函数，但需要形成两个不同的观测
dist(rbind(df\$col1,df\$col2))
# 1
# 2 197.0102```

101

R语言解法

```#一步读取文件的指定列用readr包或者原生函数都没办法
#如果文件特别大又不想全部再选指定列可以用如下办法
#基本思想先读取较少的数据获取列名
#给目标列以外的列打上NULL导致第二次读取文件时NULL列丢失即可

res <- read.csv('数据1.csv',encoding = 'GBK',nrows = 3)
classes <- sapply(res, class)
classes[-match(c('positionName','salary'),names(classes))] <-
rep('NULL', length(classes) - 2)

df <- read.csv('数据1.csv',encoding = 'GBK',nrows = 10,
colClasses = classes)```

102

R语言解法

```library(readr)

mutate('学历要求',
'薪资水平' = ifelse(
薪资水平 > 10000,'高','低'))```

103

R语言解法

`df2[seq(1,dim(df2)[1],20),]`

104

`df = pd.DataFrame(np.random.random(10)**10, columns=['data'])`

R语言解法

```df <- tibble(data = runif(10)^10)
round(df,3)```

105

R语言解法

`tibble(data = str_glue('{round(df\$data * 100,2)}%'))`

106

R语言解法

```df %>%
mutate(nrow = rownames(.)) %>%
arrange(desc(data)) %>%
filter(row_number() == 3) %>%
select(nrow)```

107

R语言解法

```df %>%
arrange(desc(rownames(.)))```

108

```df1= pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],
'key2': ['K0', 'K1', 'K0', 'K1'],
'A': ['A0', 'A1', 'A2', 'A3'],
'B': ['B0', 'B1', 'B2', 'B3']})

df2= pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
'key2': ['K0', 'K0', 'K0', 'K0'],
'C': ['C0', 'C1', 'C2', 'C3'],
'D': ['D0', 'D1', 'D2', 'D3']})```

R语言解法

```df1 <- data.frame(
"key1" = c("K0","K0","K1","K2"),
"key2" = c("K0","K1","K0","K1"),
"A" = paste0('A',0:3),
"B" = paste0('B',0:3)
)

df2 <- data.frame(
"key1" = c("K0","K1","K1","K2"),
"key2" = paste0('K',rep(0,4)),
"C" = paste0('C',0:3),
"D" = paste0('D',0:3)
)

full_join(df1,df2,by = c('key1','key2')) %>%
na.omit(.)```

109

R语言解法

`left_join(df1,df2,by = c('key1','key2'))`

110

R语言解法

```df <- read_csv('数据1.csv', locale = locale(encoding = "GBK")) %>%
print(width = Inf)```

111

R语言解法

```df %>%
mutate(nrow = rownames(.)) %>%
filter(secondType == thirdType) %>%
select(nrow) %>%
unlist()```

112

R语言解法

```df %>%
mutate(nrow = rownames(.)) %>%
filter(salary > mean(salary)) %>%
select(nrow) %>%
filter(row_number() == 3)
# # A tibble: 1 x 1
# nrow
# <chr>
# 1 6```

113

R语言解法

```df %>%
summarise(salary_sqrt = sqrt(salary))```

114

R语言解法

```df <- df %>%
mutate(split = str_split(linestaion,'_'))```

115

R语言解法

```length(df)
# [1] 54```

116

R语言解法

`df[grep("^数据", df\$industryField),]`

117

R语言解法

```df <- df %>%
group_by(positionId) %>%
dplyr::summarise(salary = mean(salary),
score = mean(score)) %>%
as.data.frame(.)
rownames(df) <- NULL
tibble::column_to_rownames(df,var='positionId')```

118

R语言解法

```res <- df %>%
select(salary,score) %>%
pivot_longer(c(salary,score),names_to = 'type',values_to = 'value') %>%
group_by(type) %>%
summarise(sum = sum(value),mean = mean(value),min = min(value))

rownames(res) <- NULL

res %>%
column_to_rownames('type') %>%
t(.)```

119

R语言解法

```df %>%
summarise(salary_sum = sum(salary),
score_mean = mean(score))```

120

R语言解法

```df %>%
group_by(district) %>%
summarise(avg = mean(salary)) %>%
arrange(desc(avg)) %>%
filter(row_number() == 1)```

0 条评论

• ### 玩转数据处理120题｜Pandas&R

本文精心挑选在数据处理中常见的120种操作并整理成习题发布。并且每一题同时给出Pandas与R语言解法，同时针对部分习题给出了多种方法与注解。本系列一共涵盖了数...

• ### Pandas进阶修炼120题｜第二期

大家好，Pandas进阶修炼120题系列旨在用刷题的方式彻底玩转pandas中各种操作，本期为第二期，我们开始吧～

• ### Pandas进阶修炼120题｜完整版

『Pandas进阶修炼120题』系列现已完结，我们对Pandas中常用的操作以习题的形式发布。从读取数据到高级操作全部包含，希望可以通过刷题的方式来完整学习pa...

• ### Python代码|Python做数据可视化的代码

从代码中学习Python知识和Python与数据相关的知识，是一个有效的方法。例如：想了解Python做数据可视化的工作。我们可以从互联网找一些Python做数...

• ### 【MathorCup】2020年 A题 无车承运人平台线路定价问题，特征间的相关性分析

问题 1：通过定量分析的方法，研究影响无车承运人平台进行货运线路定价的主要因素有哪些，并说明理由。 问题 2：根据附件 1 数据，通过建立数学模型，对已经成交...

• ### Pandas进阶修炼120题，给你深度和广度的船新体验

本文为你介绍Pandas基础、Pandas数据处理、金融数据处理等方面的一些习题。

• ### Day05| 第四期-电商数据分析

疫情期间，想必我们会增加网上购物，人们的生活越来越数字化。当我们消费时，无论是线上和线下都会产生大量的交易数据，对于商家来说数字化的运营方式非常必要，从大量的交...

• ### 我就不用AI、ML模型预测股价，来点不一样的！

你是否注意到MaxHigh，MaxLow和MaxClose列？ 他们是关键！ 我们将使用这些列计算概率。