我正在使用火花结构化流,我想检查是否存在一个stop文件退出我的程序。我可以做这样的事情: val query = SparkSession...load.writeStream.foreachBatch以上是一个问题,感谢下面被接受的答案,下面是我的代码,最终运行良好。and in main method val query = SparkSession...load.w
我是结构化流从Kafka读取数据,写到BigQuery(虽然目前,我写到控制台)。我试图使用foreach (或foreachBatch)对记录进行转换,但是我遇到了问题。/pyspark/worker.py", line 619, in main File "/Users/karanalang/Documents/Technology/spark-3.2.0-bin-hadoop3.2/py