首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >将带时间戳的数据与另一个数据集中最近的时间进行匹配。正确矢量化了吗?更快的方式?

将带时间戳的数据与另一个数据集中最近的时间进行匹配。正确矢量化了吗?更快的方式?
EN

Stack Overflow用户
提问于 2015-06-29 03:30:46
回答 2查看 4.8K关注 0票数 24

我在一个数据帧中有一个时间戳,我试图将其与第二个数据帧中最接近的时间戳进行匹配,以便从第二个数据帧中提取数据。有关我的方法的通用示例,请参阅以下内容:

代码语言:javascript
复制
library(lubridate)

data <- data.frame(datetime=ymd_hms(c('2015-04-01 12:23:00 UTC', '2015-04-01 13:49:00 UTC', '2015-04-01 14:06:00 UTC' ,'2015-04-01 14:49:00 UTC')),
                   value=c(1,2,3,4))
reference <- data.frame(datetime=ymd_hms(c('2015-04-01 12:00:00 UTC', '2015-04-01 13:00:00 UTC', '2015-04-01 14:00:00 UTC' ,'2015-04-01 15:00:00 UTC', '2015-04-01 16:00:00 UTC')),
                        refvalue=c(5,6,7,8,9))

data$refvalue <- apply(data, 1, function (x){
  differences <- abs(as.numeric(difftime(ymd_hms(x['datetime']), reference$datetime)))
  mindiff <- min(differences)
  return(reference$refvalue[differences == mindiff])
})

data
#              datetime value refvalue
# 1 2015-04-01 12:23:00     1        5
# 2 2015-04-01 13:49:00     2        7
# 3 2015-04-01 14:06:00     3        7
# 4 2015-04-01 14:49:00     4        8

这种方法工作得很好,只是速度非常慢,因为在我的实际应用程序中,引用数据帧相当大。这段代码是否被正确向量化了?有没有一种更快、更优雅的方式来执行这个操作?

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2015-06-29 03:58:10

您可以使用“data.table”选项来尝试最近的滚动连接。

代码语言:javascript
复制
library(data.table) # v1.9.6+
setDT(reference)[data, refvalue, roll = "nearest", on = "datetime"]
# [1] 5 7 7 8
票数 20
EN

Stack Overflow用户

发布于 2015-06-29 04:12:55

我想知道这是否能够在速度上与data.table解决方案相匹敌,但它是一个base-R矢量化解决方案,应该优于您的apply版本。由于它实际上并不计算距离,因此它实际上可能比data.table最近的方法更快。这会将间隔的中点长度与间隔的最低可能值或起始点相加,以创建一组“中断点”,然后使用findInterval函数处理时间。这将在reference数据集的行中创建合适的索引,然后可以将"refvalue“”传输“到data-object。

代码语言:javascript
复制
 data$reefvalue <- reference$refvalue[
                      findInterval( data$datetime, 
                                     c(-Inf, head(reference$datetime,-1))+
                                     c(0, diff(as.numeric(reference$datetime))/2 )) ]
 # values are [1] 5 7 7 8
票数 18
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/31103897

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档