在R中按组高效地分组数据
在R中按组高效地分组数据
提问于 2019-01-23 22:46:37
我有一个相对较大(约250万条记录)的数据帧，其结构大致如下：
df <- tibble(year = rep(2000:2009, times = 10), value = sample(0:1000, 100)) %>%
arrange(year)我想根据每年的分位数将每个值分配给一个存储桶(例如，观察值1在2000年处于值的底部四分位数)。对于我的简单示例，这可以很好地工作：
df %>%
group_by(year) %>%
mutate(bucket = as.numeric(cut(value,
breaks = quantile(value, probs = c(0, .25, .5, .75, 1)),
include.lowest = T)))
df
# A tibble: 100 x 3
# Groups: year [10]
year value bucket
<int> <int> <dbl>
1 2000 281 1
2 2000 336 2
3 2000 873 4
4 2000 41 1
5 2000 335 1
6 2000 939 4
7 2000 746 3
8 2000 762 4
9 2000 345 2
10 2000 628 3但在我的完整数据集上，这(不出所料)需要永远。为了加快速度，我在单独的数据帧中计算了每一年的分位数：
break_calc <- function(yr) {
library(magrittr)
df %>%
filter(year == yr) %$%
quantile(value, probs = c(0, .25, .5, .75, 1))
}
df_quants <- tibble(year = 2000:2009) %>%
mutate(breaks = map(year, ~break_calc(.x)))但即便如此，我仍在努力想出一个不会永远耗费时间的解决方案。这在我的完整数据上是非常慢的：
df %>%
mutate(bucket = map2_dbl(value, year,
~cut(.x, breaks = unlist(df_quants$breaks[df_quants$year == .y]), include.lowest = T)))这可能会快一点，但不是很好：
df %>%
left_join(df_quants, by = "year") %>%
mutate(bucket = map2_dbl(value, breaks, ~cut(.x, breaks = unlist(.y), include.lowest = T)))对如何优化这个有什么想法吗？强烈倾向于将其保留在dplyr/tidyverse领域，尽管我对应用/data.table解决方案持开放态度，如果它们明显更快的话。
回答 1
Stack Overflow用户
发布于 2019-01-23 22:54:52
在dplyr中使用data.table和ntile怎么样？
library(dplyr)
library(data.table)
df <- as.data.table(df)
df[, bucket:=ntile(value,4), by=year]你也可以在你的代码中使用ntile，但是我发现data.table更快更干净
使用分位数：
library(dplyr)
library(data.table)
df <- as.data.table(df)
df[, bucket:= as.integer(cut(value,
breaks = quantile(value, probs = c(0, .25, .5, .75, 1)),
include.lowest = T)), by=year]页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/54336854
复制相关文章
点击加载更多
相似问题
为什么我的C程序中虚拟地址这么大？
为什么巨蟒熊猫dataFrame的内存消耗这么大？
TLB中的内核内存(虚拟地址条目)？
为什么我的围棋程序的内存波动这么大？
内核虚拟地址空间中的高内存映射
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
