我需要创建自己的UnaryTransformer实例,该实例接受ArrayString类型的Dataframe列,并且应该输出与此相同的type.In,在SparkVersion2.1.0上遇到了一个ClassCastExceptionorg.apache.spark执行用户定义函数($anonfun$createTransformFunc$1:(数组) =>数组)。:84) at org.apache.<em
我正在实现一个程序,它将整个数据帧作为参数。我知道这可能不是Spark的支持,但我想知道有没有好的方法来解决我的问题。因此,item process函数如下所示
val item_countERROR Executor: Exception in task 4.0 in stage 11.0 (TID 5
我正在尝试将spark数据集转换为迭代器,以便将数据集写入influxdb。在构造了我想要的数据集之后,我需要将该数据集转换为迭代器,以便传递给influxdb编写器。但是,当对dataset类使用toLocalIterator()内置函数时,就会出现这个问题。(SparkPlan.scala:290)
at org.apache.spark.sql.Dataset$$anonfun$toL
在一个独立的应用程序中(在java8上运行,Windows10使用spark-xxx_2.11:2.0.0作为jar依赖项),下面的代码会给出一个错误:Dataset<Row>(SessionCatalog.scala:145)
at org.apache.spark.sql.catalyst.catalog.SessionCat