问卡夫卡-火花流集成: DStreams和任务重用

EN

我试图理解星火流(不是结构化流)的内部结构，特别是任务查看DStream的方式。我正在浏览斯派克在scala，这里中的源代码。我理解呼叫堆栈：

ExecutorCoarseGrainedBackend (main) -> Executor (launchtask) -> TaskRunner (Runnable).run() -> task.run(...) 

我理解DStream确实是RDDs的哈希映射，但我试图理解任务查看DStream的方式。我知道基本上有两种方法来整合卡夫卡星火：

• 基于接收机的高级卡夫卡消费API 这里，在每个批处理间隔(例如5秒)上创建一个新的(微)批处理，接收任务创建5个分区(=> 1秒块间隔)，并将其顺流传递给常规任务。 问题:考虑到我们的例子，每5秒创建每个微批处理；所有微批的所有这些分区都应该以完全相同的方式在下游进行DAG处理，对于每个微批处理的相同分区id，是否重复使用相同的常规任务作为长时间运行的任务？例如： 如果时间上的分区的ubatch1 (P1、P2、P3、P4、P5)被分配给任务is (T1、T2、T3、T4、T5)，那么会为创建分区的ubatch2 (P1‘、P2’、P3‘、P4’、P5')还是为创建新任务(en25 20#、en25 21#、p4‘、P5’)？ 如果后者是这样的话，那么，如果您已经知道有一些任务在做完全相同的事情，并且可以作为长时间运行的任务重复使用，那么每5秒就必须通过网络将新的任务发送给执行者，这难道不是性能密集型的吗？
• 使用低级别Kafka消费API的Direct 在这里，卡夫卡分区映射到一个火花分区，因此是一个任务。同样，考虑到主题t的5个Kafka分区，我们得到了5个火花分区及其相应的任务。 问题：说，T0的ubatch1有分配给任务的分区(P1、P2、P3、P4、P5) (T1、T2、T3、T4、T5)。时间上的分区(P1'，P2'，P3'，P4'，P5')是否也分配给同一组任务(T1，T2，T3，T4，T5)，或者为ubatch2创建新任务(T6、T7、T8、T9、T10)？