如何在pyspark中使用foreach接收器？
如何在pyspark中使用foreach接收器？
提问于 2018-01-11 15:16:03
如何在Python Spark structured streaming中使用foreach在输出上触发操作。
query = wordCounts\
.writeStream\
.outputMode('update')\
.foreach(func)\
.start()
def func():
ops(wordCounts)回答 4
Stack Overflow用户
发布于 2019-01-20 01:50:30
在Spark 2.4.0中添加了对Python中的foreach接收器的支持，文档也进行了更新：http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#using-foreach-and-foreachbatch
确保您拥有该版本，现在可以执行以下操作：
def process_row(row):
# Process row
pass
query = streamingDF.writeStream.foreach(process_row).start() Stack Overflow用户
发布于 2018-01-11 21:02:14
TL;DR在火花源中不能使用foreach方法。
引用Spark Structured Streaming的official documentation (突出我的)：
操作允许在输出数据上计算任意操作。从Spark2.1开始，这只适用于Scala和。
Stack Overflow用户
发布于 2018-03-28 11:29:18
现在不可能通过任何简单的技巧在pyspark中使用foreach，此外，在pyspark中，update输出模式只能用于调试。
我推荐你在scala中使用spark，这并不难学。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/48201647
复制相关文章
相似问题
腾讯云开发者
