scala中的滚动时间窗口数据
scala中的滚动时间窗口数据
提问于 2018-10-25 05:40:30
请找到下面的简化scala代码片段，它生成随机的日->数据映射，并试图计算3天的滚动时间窗口数据:-
val dataByDay: Map[String, String] = TreeMap((1 to 7).map(i => (s"Day$i" -> s"Data-$i")): _*)
val groupedIterator: Iterator[(Int, Map[String, String])] = dataByDay.sliding(3).zipWithIndex.map(e => ((e._2 + 1) -> e._1))
for ((day, lastFiveDaysDataOnEveryDay) <- groupedIterator) {
println(s"On Day${day} data for days " + lastFiveDaysDataOnEveryDay.keys.mkString(",") + " will be used")
}上述产出如下：
On Day1 data for days Day1,Day2,Day3 will be used
On Day2 data for days Day2,Day3,Day4 will be used
On Day3 data for days Day3,Day4,Day5 will be used
On Day4 data for days Day4,Day5,Day6 will be used
On Day5 data for days Day5,Day6,Day7 will be used要求处理数据如下所示：
On Day1 data for days will be used
On Day2 data for days Day1 will be used
On Day3 data for days Day1,Day2 will be used
On Day4 data for days Day1,Day2,Day3 will be used
On Day5 data for days Day2,Day3,Day4 will be used
On Day6 data for days Day3,Day4,Day5 will be used
On Day7 data for days Day4,Day5,Day6 will be used请给我建议。
回答 2
Stack Overflow用户
发布于 2018-10-25 06:06:22
你的要求有点模糊。如果您只需要输出，那么一个简单的解决方案就是这样的。
(1 to 7).foreach { day =>
val prior = Seq(day-3,day-2,day-1).filter(_>0).map("Day" + _)
println(s"On Day$day data for days${prior.mkString(",")} will be used")
}如果需求是可配置滚动窗口的数据表示，那么需要更精确的信息。
Stack Overflow用户
发布于 2018-10-25 08:22:33
我假设这段代码就是为了这个问题而编写的，您的实际需求有点不同。
我正在为流提供一个解决方案，您可以使用类似于下面的方法来为您的用例获得这个特殊的窗口实现。
import scala.collection.mutable
val stream = {
def loop(i: Int): Stream[(String, String)] = (s"Day$i", s"Data$i") #:: loop(i + 1)
loop(1)
}
def specialWindowedStream[T](source: Stream[T], window: Int): Stream[List[T]] = {
val queue = mutable.Queue.empty[T]
def loop(source: Stream[T]): Stream[List[T]] = {
queue.enqueue(source.head)
if (queue.size > window) {
queue.dequeue()
}
queue.toList #:: loop(source.tail)
}
loop(source)
}
val windowedStream = specialWindowedStream(stream, 5)
windowedStream.zipWithIndex.take(6).foreach(println)
// (List((Day1,Data1)),0)
// (List((Day1,Data1), (Day2,Data2)),1)
// (List((Day1,Data1), (Day2,Data2), (Day3,Data3)),2)
// (List((Day1,Data1), (Day2,Data2), (Day3,Data3), (Day4,Data4)),3)
// (List((Day1,Data1), (Day2,Data2), (Day3,Data3), (Day4,Data4),(Day5,Data5)),4)
// (List((Day2,Data2), (Day3,Data3), (Day4,Data4), (Day5,Data5),(Day6,Data6)),5)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/52982039
复制相关文章
相似问题
腾讯云开发者
