问如何使用flatMapGroupsWithState进行有状态聚合？

EN

此错误是否意味着在dataset上应用flatMapGroupsWithState后无法应用agg(....)？

不怎么有意思。上面说(突出我的).

流DataFrame/Dataset上的聚合不支持处于更新模式的flatMapGroupsWithState

这意味着您使用默认的输出模式(即update )，但应该是complete或append，如火花官方文档输出模式中所述(参见“使用flatMapGroupsWithState查询”查询类型)。

​

​

从评论中：

此外，flatMapGroupWithState也支持更新操作。来自KeyValueGroupedDataset，if (outputMode != OutputMode.Append && outputMode != OutputMode.Update) { throw new IllegalArgumentException("The output mode of function should be append or update") }

正确的是，flatMapGroupWithState支持附加和更新输出模式，但只有在作为输入参数的一部分给出时才支持。见KeyValueGroupedDataset.flatMapGroupWithState的签名

flatMapGroupsWithState[S, U](
  outputMode: OutputMode, // <-- HERE
  timeoutConf: GroupStateTimeout)(
  func: (K, Iterator[V], GroupState[S]) ⇒ Iterator[U]): Dataset[U]

换句话说，OutputMode在流查询中出现了两次：

1. 对于流查询本身(以DataStreamWriter.outputMode为默认的append输出模式)
2. 在KeyValueGroupedDataset.flatMapGroupWithState中

异常引用"flatMapGroupsWithState in update模式“(即以update输出模式作为输入参数的flatMapGroupsWithState )，这是可以的。

“使用聚合”(即在任何类型的流聚合( groupBy、groupByKey、cube、rollup等)的流查询中)