(文件中大约有1650行)第三,我想把输出写到一个新文件中。不幸的是,它并没有写出超过16800行的所有内容。产量大约有15500行左右。var lineCounter = 0; //counts the expacted number of output lines
const writeStream/output.txt
我使用pyspark流从kafka获取数据,结果是一个dataframe,当我将dataframe转换为rdd时,它出错了: Traceback (most recent call last):pyspark.sql.utils.AnalysisException: 'Queries with streaming sources must be executed with writeStream.start();;\nkafka' 正确的版本代码: spark = SparkSession \