下载 spark 2.2.0,然后解压到特定目录,设置SPARK_HOME即可。...我们可以这么写:
from pyspark.sql.types import StructType, IntegerType, ArrayType, StructField, StringType, MapType...fields = [StructField("ids", ArrayType(IntegerType())), StructField("mainId", IntegerType()),...from pyspark.sql.functions import udf
from pyspark.sql.types import *
ss = udf(split_sentence, ArrayType...比如你明明是一个FloatType,但是你定义的时候说是一个ArrayType,这个时候似乎不会报错,而是udf函数执行会是null.
这个问题之前在处理二进制字段时遇到了。