问流式处理:翻滚窗口与微批处理

EN

经过更多的研究，以下是我的结论

• 早期版本至少1.6，就我所知(请随意纠正我)，流处理的概念是基于微批处理的，其中流处理是作为批处理的特殊情况处理的，因此流可以在有限(非常小)的时间内以微批处理。duration.
• Tumbling窗口是演进流处理模型的一部分(其中数据不断进入一个巨大的无限表，批处理被视为流处理的特例)，它的工作方式是：

1. blocking out the "past" of the unbounded gigantic window/table 
2. and **then** looking forward to the inbound data to this gigantic window in a finite time duration into the future say 10 seconds 
3. processing it 
4. go back to step 1 

​

因此，作为黑盒的微批处理非常类似于翻滚窗口，但区别在于实现窗口处理所采用的底层架构/设计/方法。

来源：

Martin Klepmann

• http://blog.madhukaraphatak.com/introduction-to-flink-streaming-part-2/

的

• Designing Data密集型应用程序

据我所知，从结果的角度来看，它们非常相似。它们将允许处理给定时间段的某些部分数据。

您使用Spark是正确的，由于设计限制，Spark Streaming使用给定的持续时间读取一些非常小的数据部分。

在我看来，它们之间最大的区别是目的。Spark中的微批处理用于限制来自源的消费数据。