-----------------------------------------------------------------------------------+ 现在,对于每个id,可以有多个结构我尝试为其中几个定义了Struct模式,如下所示- from pyspark.sql.types import StructType,StructField, StringType
from pyspark.sql.functions.select("stringDictionary","jsonData.*&
我使用PySpark读取一个相对较大的csv文件(~10 to ):所有列都有数据类型string。例如,在更改column_a的数据类型后,我可以看到数据类型已更改为integer。如果我将ddf写到一个拼图文件中,并读取这个拼图文件,我会注意到所有的列都有数据类型string。问题:如何确保拼花文件包含正确<