Trigger.AvailableNow用于PySpark中的Delta源流查询(数据库)
Trigger.AvailableNow用于PySpark中的Delta源流查询(数据库)
提问于 2022-02-10 08:20:29
Databricks 文档中的所有示例都在Scala中。无法从PySpark中找到如何使用此触发器类型。是否有同等的API或解决办法？
回答 2
Stack Overflow用户
回答已采纳
发布于 2022-02-10 12:26:08
Python实现错过了Spark3.2版本，因此它将只包含在Spark3.3中(对于OSS版本)。在Databricks上，它作为DBR10.3(或10.2?)的一部分发布，可用于：
.trigger(availableNow=True)Stack Overflow用户
发布于 2022-07-21 20:39:21
这是正式文件
DataStreamWriter.trigger(*, processingTime: Optional[str] = None,
once: Optional[bool] = None,
continuous: Optional[str] = None,
availableNow: Optional[bool] = None) -> pyspark.sql.streaming.DataStreamWriteravailableNow：bool，可选 如果设置为True，则设置一个触发器，该触发器处理多个批次中的所有可用数据，然后终止查询。只能设置一个触发器。
# trigger the query for reading all available data with multiple batches
writer = sdf.writeStream.trigger(availableNow=True)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/71061809
复制相关文章
相似问题
腾讯云开发者
