xxxxx cause22 XxxxxstartTime name cause descriptionCause val rdd2 = df1.map(row函数getTimeCust(Int, Int, DataFrame)在映射之外工作得
浏览 0提问于2017-01-05得票数 0
回答已采纳
我正在试着用Spark加载和分析一些镶木地板文件。我使用schemaMerge加载文件，因为较新的文件有一些额外的列。此外，一些文件的列名是小写的，而其他文件的列名是大写的。模式合并被委托给spark sql的StructType merge方法。据我所知，该方法只能以区分大小写的方式工作。在内部，它使用映射按名称查找字段，如果大小写不匹配，它会将其解释为新字段。稍后，当检查模式中的重复项时，区分大小写的配置会被考虑在内，我们最终会得到重复的列。这会导致
org.apache.spark
浏览 23提问于2019-07-31得票数 4
回答已采纳
异常:value toDF is not a member of org.apache.spark.rdd.RDD[Person]packagemain.scala
import
浏览 9提问于2015-11-14得票数 30
$$anonfun$fromDataType$1.apply(ParquetTypes.scala:305) at scala.Option.map(Option.scala:145)在org.apache.spark.sql.parquet.ParquetTypesConverterscala.collection.TraversableLike$class.map(TraversableLike.scala:244) at <em
浏览 0提问于2015-08-02得票数 2
我一直想知道像Apache Spark这样支持不同语言API的系统的高级架构。例如，Spark支持Scala、Python和Java中的API。
尽管该软件是用Scala编写的，但它支持多语言API。
浏览 0提问于2016-03-13得票数 3
4回答
如何读取Spark中的嵌套集合
、、、、
我有一张镶木镶木桌上有一根柱子在Spark文档中找不到任何与此相关的引用。提前感谢您提供的任何信息！
ps。我觉得在谈判桌上提供一些统计数据可能会有所帮助。主表中的列数约为600。行数~200m。嵌套集合中</em
浏览 191提问于2015-05-03得票数 19
回答已采纳
我目前正在使用Spark 1.4.0，并开始使用ML pipeline framework。但是我想做多类分类，所以我在org.apache.spark.ml.classification包中使用了org.apache.spark.ml.classification。使用'probability'方法对模型进行了适当的训练，但是当使用上面示例中的print语句测试模型时，我得到了以下错误:不存在f
浏览 4提问于2015-07-17得票数 1
我尝试使用单个列名和从列表中提取的名称从Scala Spark DataFrame中选择列。var cols_list = List("d", "e")
.select( col("b"), cols_list.mapallowed here
(such annotations are only allowed in argum
浏览 64提问于2021-05-12得票数 0
回答已采纳
(SparkContext.scala:2085) atorg.apache.spark.rdd.RDD$$anonfun$map$1.apply(RDD.scala:323) at org.apach
浏览 0提问于2018-02-14得票数 1
2回答
我正试图在星火应用程序中将我的逻辑解耦。我为UDF定义、和UDF声明创建了单独的类。=> Unit), at org.apache.
浏览 2提问于2019-05-07得票数 0
我有一个json类型的文件(不是真正的json结构)，但是我转换为json并通过spark (我们在Spark1.6.0中)读取，我还不能使用spark 2中的多行功能。它显示结果，但同时出错。(LinearSeqOptimized.scala:111) at scala.collection.immutable.List.foldLeft(在org.apache.spark.sql.query.a
浏览 2提问于2018-08-31得票数 1
我有一个数据表，我想在一个UDF中引用它。我的UDF和广播变量都属于一个可序列化的helper对象，我在类的顶部初始化了广播变量，并在该类的def中调用了UDF。然而，在评估期间，当尝试访问广播变量时，我会得到一个空指针异常。显然，这里的操作顺序并不像预期的那样发生(在加载广播变量的相关数据之前执行UDF )，所以我假设我需要某种方式来强制执行某种依赖/顺序。为了记录这一点，我不想用对象和类分离的特殊方式来实现它，这是我能想
浏览 5提问于2022-09-08得票数 0
回答已采纳
我需要在其中一列中保存包含org.apache.spark.mllib.linalg.Vector的dataframe。在cassandra中从dataframe创建表时，抛出错误。:16)
at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:244)at scala.collection.TraversableL
浏览 28提问于2016-08-09得票数 3
如果SparkVersion2.2.0中的缓存RDD和DataFrame返回映射大小2：rdd: org.apache.spark.rdd.RDD)).toDF
scala> spark.sparkContext.getPersistentRDDsres0:
浏览 5提问于2020-12-19得票数 2
回答已采纳
1回答
我的工作一直持续到一个阶段，比如完成200个任务中的199个，或者完成3个任务中的一个，然后被困在那里。at org.apache.spark.rdd.RDD$$anonfun$map(RDD.scala:316)
at
浏览 1提问于2018-03-15得票数 1
如何在不使用javaRDD的情况下使用dataframe(spark sql)从Hbase获取数据。", "emp1");异常：-线程“主”行中的异常: hbase.colu
浏览 4提问于2017-05-12得票数 0
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我是否只需要确保存在一组惟一的列名，而不管我应用na().fill()方法的dataFrame中的表别名是什么？给定：df1: org.a
浏览 4提问于2016-02-28得票数 3
在中运行的示例Java代码如下: import org.apache.spark.sql.SQLContext；import org.apache.spark.sql.types.*；JavaSparkContext sc = new JavaSparkContext(conf);
at <
浏览 2提问于2015-12-21得票数 8
当配置单元表有像映射或数组这样的值时，如果你在配置单元客户端选择它，它们会显示为JSON，例如：{"a":1,"b":1}或[1,2,2]。在Spark中选择这些对象时，它们是DataFrame中的贴图/数组对象。如果对每一行进行字符串化，则它们是Map("a" -> 1, "b" -> 1)或WrappedArray(1, 2, 2)。当我使用Spark</e
浏览 1提问于2018-07-20得票数 0
我有一个RDD[MapString，Any]，我正在尝试将它转换为Dataframe。我没有可以指定Dataframe的架构。 Map("D" -> Map("E" -> "F")), // Could be another Map
Map("G" -> List("H&q
浏览 2提问于2019-11-14得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
