火花错误:不支持的文字类型类sql.catalyst.expressions.GenericRowWithSchema
at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scala:77)
at org.apache.<em
浏览 0提问于2018-04-03得票数 0
我有以下代码：val sc = new SparkContext(conf)new conf.registerKryoClasses(new Class<?>[]{
Class.forName("or
浏览 0提问于2016-10-29得票数 1
回答已采纳
return name; { }这个类从文本文件中读取并映射到DataFrame df = sqlContext.sql("SELECT age FROM people");
完全错误：
线程"main“中的异常org.ap
浏览 3提问于2015-11-06得票数 1
我刚刚开始使用spark和scala.Trying来读取文本文件并将其保存为拼图文件。对我来说，我使用的一个字段是TimeStamp，文档上说spark1.1.0支持java.util.TimeStamp。我在保存到parquet文件时遇到的运行时错误是
线程"main“java.lang.RuntimeException中出现异常:在org.apache.spark.sql.parquet.ParquetTypesConverter$$an
浏览 2提问于2014-10-11得票数 3
我是很新的火花流。我有一个火花独立2.2运行与一名工人。我正在使用一个套接字源，并试图将传入的流读取到一个名为MicroserviceMessage的对象中。val message = spark.readStream .option("host", host)Exception in thread "main" org.a
浏览 4提问于2017-12-08得票数 3
回答已采纳
由于某些原因，在任何类型的RDD上执行某些(但不是全部) RDD操作时，都会抛出Java :不支持的类文件主版本x。Java 12.0.1)
浏览 1提问于2019-06-21得票数 2
回答已采纳
我正在尝试找出一种方法来对Scala case类中具有变量类型的数据集合进行建模，我将其作为Spark Dataset进行操作。
是否可以将Spark Row嵌套在case类中，如下所示？有没有更好的方法来为具有变量类型的数据集合建模(例如，我考虑过Map[String,Any]，但是Any不能工作，因为你需要一个值的编码器)？(ScalaReflection.<
浏览 0提问于2018-08-13得票数 0
我有以下对象，它模仿枚举： val JobSeekerID = "JobSeekerID" val Date = "Date"}userJobBehaviourDF.groupBy($(ColumnNames.JobSeekerID))userJobBehaviou
浏览 2提问于2018-01-11得票数 2
回答已采纳
1回答
对于数组中的所有元素，我应该读取Cassandra的数据，执行一些计算并将数据插入Cassandra。谢谢这是我得到的命令：
线程"main“中的异常:在org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala(SparkContext.scala:2055) at org.<em
浏览 4提问于2016-04-21得票数 0
10.0.0.1| 7 | 0|我需要将count列上的总标准差与我的数据帧中的自身下面是我的代码：
val final_add_count_attack = Dataframe_addcount.withColumn("att
浏览 6提问于2017-06-28得票数 6
回答已采纳
我使用的是CDH5.4.2的火花(独立的)
org.apache.spark.sql.hive.HiveContext@6c6f3a15 scala> hiveContext =新的org.apache.spark
浏览 8提问于2016-07-26得票数 0
1回答
我在Spark2.0和scala中使用GraphFrame。import org.apache.spark.sql.functions.udf
浏览 4提问于2017-07-07得票数 0
java.lang.IllegalArgumentException:需求失败:列pmi必须是org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7类型，但实际上是DoubleType，更新从dataset中删除了string value属性，该数据集是label。at org.apache.spark.sql.types.StructType$$anonfun$apply$1.apply(StructType.scala:264)
浏览 7提问于2017-06-30得票数 2
1回答
我正在尝试连接spark streaming应用程序中的DB2数据库和数据库查询执行语句，这会导致"org.apache.spark.SparkException:任务不可序列化“问题。请给我建议。:108) at org.apache.spark.SparkContext.clean的org.apache.spark.util.ClosureCleaner$.ensureSerializable(Clos
浏览 1提问于2018-03-29得票数 0
我正在尝试比较SparkSQL查询的类类型。] = class org.apache.spark.sql.catalyst.plans.logical.Projectres9: Boolean = false
我认为这里的问题是如何编译类org.apac
浏览 1提问于2020-08-20得票数 1
回答已采纳
2回答
我是斯卡拉的新人。我在代码中创建了一个包对象：import org.apache.spark.SparkContext_时，我将能够使用来自mypackage.spark._类的方法。当我只使用一个导入的包对象时，这种方法对我有效。但是当我在代码中添加额外的
浏览 3提问于2016-09-12得票数 0
3回答
有人能确认在结构化流(Spark2.0)中确实不支持旋转吗？线程“主”org.apache.spark.sql.AnalysisException中的异常:必须使用writeStream.start()执行流源查询；卡夫卡在org.apache.spark.sql.catalyst.analysis.UnsupportedOperationChecker$.org$apache$spark$sql$
浏览 9提问于2017-12-01得票数 8
回答已采纳
java.lang.UnsupportedOperationException:不支持类型特征对象的架构 trait Container { def bb: IntSecond => Json.toJson(b) }val sparkSparkSession.b
浏览 14提问于2019-01-23得票数 0
3回答
我编写了以下代码，删除字符串中的标点符号： val punctPattern = "[^a-zA-Z0$apache$spark$util$ClosureCleaner$$clean(/home/ubuntu/src/main/scala/Test.sc:284)，org.apache.spark.ut
浏览 1提问于2017-04-24得票数 7
回答已采纳
").options(map).load();
异常：-线程“主”行中的异常: hbase.columns.mapping的行字符串的值无效:java.lang.IllegalArgumentException，城市字符串r: city‘at org.apache.hadoop.hbase.spark.DefaultSource.generateSchemaMappingMap(DefaultSource.scala:119) at org.apach
浏览 4提问于2017-05-12得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
