对于相同的问题，在Stack Overflow上有类似的posts，但在Java Spark Dataframe上没有。 有没有人可以在java中帮我做同样的事情。我尝试了发布在here上的解决方案，但它在Java上不起作用。看起来合并函数使用Scala.collections.seq<columns>作为类型。如何让它在Java中工作
浏览 23提问于2019-09-25得票数 0
回答已采纳
我有两个不同列数的拼板文件，并试图将它们与下面的代码片段合并如何使用java中的spark合并
浏览 2提问于2021-08-26得票数 2
回答已采纳
我已经使用java spark dataframe将CSV读取到dataframe中，现在我必须对每个列应用一些宽度，并将数据写入固定宽度的文件中。因为example..column 1有2位宽，列2有7个bit...like，而我有85列。谁能解释一下如何使用java spark将dataframe中的数据写入到固定宽度<em
浏览 0提问于2020-11-19得票数 0
我正在尝试合并两个不同数据类型的列。在下面的代码片段中，为了简单起见，我从相同的数据帧中选取了列。中并尝试用df.withColumn()合并它们时c=df.select("SOG")我明白了： a
浏览 6提问于2015-10-28得票数 4
我正在使用Databricks笔记本来提取gz压缩的csv文件并加载到dataframe对象中。我对下面的第2部分有困难。 df1 = spark.read.option("header",True).option("delimiter", "|").csv("dbfs:/model/.../file_2.cs
浏览 5提问于2021-02-10得票数 1
回答已采纳
2回答
我试图将dataframe中的所有列合并到一个名为value的列中。Caused by: java.lang.NullPointerException at org.apache.<em
浏览 1提问于2019-07-29得票数 1
回答已采纳
在spark dataframe中，我有1列，其中包含列表列表作为行。我想将字符串列表合并为一个。INPUT DATAFRAME:| name |friends || Kim |[["C","K"]["L","G"
浏览 6提问于2018-08-31得票数 3
回答已采纳
我有两个行数相同的DataFrame，但是根据源，列数是不同的和动态的。
第一个DataFrame包含所有列，但是第二个DataFrame被过滤和处理，没有所有其他列。需要从第一个DataFrame中选择特定的列，然后添加/合并第二个DataFrame。val sourceDf = spark.read.load(pa
浏览 0提问于2017-10-31得票数 9
回答已采纳
我有一个带有“周”&“年”列的dataframe，需要计算如下所示的月份：+----+----++----+----+| 50|2012|
浏览 2提问于2016-05-30得票数 1
回答已采纳
1回答
然后定期运行Spark作业，将这些“增量数据”与当前版本的“快照表”(ORC格式)合并，以获得上游快照的最新版本。1)将“增量数据”加载为DataFrame df1。2)将当前的“快照表”加载为DataFrame df2这个逻辑将“增量数据”和当前“快照表”
浏览 1提问于2019-12-25得票数 4
回答已采纳
我正在尝试通过spark读取COS中的excel文件，如下所示 def readExcelData(filePath: String, spark: SparkSession): DataFrame( }
} 在这段代码<
浏览 142提问于2019-10-03得票数 0
我正在尝试在C# Spark中实现向量自定义函数。 我已经通过Spark .Net创建了.Net Spark环境。在我的IntegerType专栏中，Vector Udf (Apache箭头和Microsoft.Data.Analysis都是)很好用。现在，尝试将Integer数组类型的列发送到Vector Udf，但找不到实现此目的的方法。= dataFrame.WithColumn("dataFrame
浏览 17提问于2021-03-25得票数 6
我有一个有这样一个旧模式的地板：| Tom | Male | 30 || name | gender | age |office |val mergedDF = spark.read.option("mergeSchema", "true").parquet("datatest_table")|
浏览 3提问于2020-10-22得票数 0
回答已采纳
是否可以将Java时间戳数据类型转换为Scala TimestampType，反之亦然？我试着这样做：但是得到了这个错误：
java.lang.ClassCastException: java.sql.Timestamp cannot be cast to org.apache.spark.sql.types.TimestampType
浏览 25提问于2020-07-31得票数 0
关于如何使用Spark Scala/Python创建空的dataframe/Dataset，有很多示例。但是我想知道如何在Java Spark中创建一个空的dataframe/Dataset。我必须创建一个空的dataframe，其中只有一列，标题为Column_1，类型为String。
浏览 27提问于2020-07-14得票数 0
回答已采纳
2回答
我已经搜索了一段时间了，如果有任何方法在Pyspark中使用一个Pyspark类，我还没有找到任何关于这个主题的文档或指南。假设我在Scala中创建了一个简单的类，它使用了一些apache-spark库，如下所示： def exe(): DataFrame = {
浏览 3提问于2016-03-15得票数 29
回答已采纳
1回答
在Spark1.6.0中，我有一个包含职务描述的列的数据框架，如：bartenderemployee...所以至少应该有一个带有该工作的.任何暗示都欢迎你！at org.apache.spark.sql.DataFrame.<init>(DataFrame.scala:131)
at org.apache.spark.sql.<em
浏览 2提问于2016-02-21得票数 5
回答已采纳
我有一个星火DataFrame df，有五列。我想添加另一个列，它的值是第一列和第二列的元组。在使用withColumn()方法时，我会得到不匹配的错误，因为输入不是列类型，而是(列，列)。，我想知道在本例中，除了在行上运行for循环之外，还有什么解决方案吗？
浏览 8提问于2015-09-26得票数 15
回答已采纳
我有一个非常简单的脚本来持久化带有MongoDB中两列的数据文件：from pyspark.sql import: Cannot resolve column name "write" among (name, age);
at org.apache.spark.sql.DataFrame$$anonfun$resolve$1.apply(DataFram
浏览 4提问于2017-03-30得票数 0
回答已采纳
我在Spark DataFrame中有两列，每一列中的每个条目都是字符串数组。Seq("curious", "bought", "20"), Seq("iwa", "was", "asj"))我希望合并每一行中<
浏览 1提问于2018-03-07得票数 9
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
