我正在编写一个单元测试,测试数据需要一些空值。我试着在元组中直接放置空,我也尝试使用选项。没能成功。)
at org.apache.spark.sql.catalyst.ScalaReflection$.org$apache$spark$sql$catalyst$ScalaReflection$.org$apache$spark$sql$catalyst$ScalaReflection$$serializer
我在Spark中读取了许多ORC文件,并对其进行了处理,这些文件基本上都是Hive分区。大多数情况下,处理过程都很顺利,但对于少数文件,我得到了以下异常,不知道为什么?这些文件在使用配置单元查询的配置单元中工作得很好。(OrcRelation.scala:206)
at org.apache.spark.sql.hive.orc.OrcTableScan$$anonfun$8.apply(OrcRelation.sca