我在dataframe中有一个类型为ArrayType的列。目前，在本专栏中，我有空的列表。例如： +-------++-------+|[] ||xyz||[a] |
+-------+ 我如何在加入这个专栏的<
浏览 41提问于2021-10-21得票数 1
如何在Scala中对Spark StructType执行通用处理，如按名称选择字段、遍历映射/列表字段等？在spark dataframe中，我有类型为"ArrayType“的列"instances”，其模式如下： instances[ArrayType]:
0 [ StructType:列"instances“转换为类型为"
浏览 117提问于2020-07-10得票数 0
1回答
我想将dataframe的架构拆分为一个集合。我正在尝试这个方法，但是模式被打印成一个字符串。我是否可以将其拆分为每个StructType的集合，以便对其进行操作(比如只从输出中提取数组列)？output.toList
目前的输出是
identifyArrayColumns: (dataFrame: org.apache.spark.sql.DataFrame,Ar
浏览 0提问于2018-03-09得票数 0
回答已采纳
, C++]| CA||Robert,,Williams| [CSharp,|CA ||Michael,Rose, |Spark |NJ | .toDF("Name&qu
浏览 11提问于2021-10-11得票数 2
7回答
这个df有"A“、"B”和"C“列。现在假设我有一个Array，它包含这个df列的名称：我想以这样的方式来做一个df.select()，这样我就可以指定哪些列不能选择。例如:假设我不想选择列"B“。我试过了但这不起作用，因
浏览 21提问于2015-07-15得票数 22
回答已采纳
我正在将一个集合从MongodB导入到Spark。("collection", collectionName).load() 对于结果DataFrame中的data列，我得到以下类型： StructType(StructField(configurationName因此，在某些列中至少有一些类型是NullType。(partitionDF.rdd, denullifyStruct(partitionDF.schema)) 发出fix
浏览 161提问于2021-08-12得票数 1
当配置单元表有像映射或数组这样的值时，如果你在配置单元客户端选择它，它们会显示为JSON，例如：{"a":1,"b":1}或[1,2,2]。在Spark中选择这些对象时，它们是DataFrame中的贴图/数组对象。当我使用Spark的HiveContext时，我想使用与Hive客户端相同的格式。
我该怎么做呢？
浏览 1提问于2018-07-20得票数 0
中创建第4列，其中包含所有这3列的值数组，如| indiana|需要这个数组，因为countVectorizer模型的输入应该是包含值数组的列。它不应该像下面的错误消息中提到的那样是字符串数据类型：
线程"main“java.lang.Illegal
浏览 1提问于2017-09-05得票数 0
回答已采纳
关于Spark中的Scala中的DataFrames，我有一个简单而快速的问题。我有一个现有的Spark DataFrame (在Scala2.10.5和Spark 1.6.3上运行)，我想用ArrayType或MapType添加一个新列，但不知道如何实现。但不知道该怎么处理。我不想用“单一”值创建多个列，而是将它们存储在一个列
浏览 9提问于2019-11-20得票数 0
我有一个包含一些数据的json文件，我可以从中创建DataFrame，我感兴趣的特定部分的模式如下所示：通过查看LogicalPlan的resolveGetField方法，我发现可以从StructType或从ArrayType(StructType)中进行选择，但是有没有办法选择更深层次
浏览 1提问于2015-05-28得票数 23
回答已采纳
给定Spark 2.4和scala 2.11中的代码 val df = spark.sql("""select array(45, "something", 45)""") 如果我使用df.printSchema()打印模式，我会看到spark自动转换为字符串CAST(45 AS STRING)。array (nullable = false)
| |-- element: string (conta
浏览 30提问于2020-01-21得票数 3
1回答
我在scala中使用spark(2.4)。我有一个dataframe，我正在尝试用dé故障值(空数组)替换空值(我的数组列)。String],
浏览 7提问于2022-08-02得票数 0
我正在尝试将Spark数据have写到CSV，但是由于数据文件的某些列有一个数组，如下所示：+--+-------------+---+--的列上迭代，对于那些类型为数组的列，我想将它们压缩为mkString(", ")。我找到了下面的链接，它在Python中执行类似的操作：df.dtypes.map(dty
浏览 2提问于2018-02-08得票数 0
回答已采纳
4回答
有没有一种方法可以删除spark dataFrame中只包含空值的列？(我使用的是scala和Spark 1.6.2)var validCols: List[String] = List() .count if (count >= 2){
浏览 6提问于2016-09-11得票数 7
我正在使用Spark2.1.0。对于下面的代码，它读取文本文件并将内容转换为DataFrame，然后输入到Word2Vector模型中： );
new StructField("text", new ArrayType如果不支持Arrays$Arra
浏览 3提问于2017-04-23得票数 3
1回答
我需要在body中解析Array Type，同时从eventhub读取数据。我们嵌套了json消息，但无法解析相同的消息： {"Name"："Rohit"，"Salary"："29292"，"EmpID"：12，"Projects"：{"ProjectID"："9191"，"ProjectName, StringType)
.add("Salary"
浏览 19提问于2021-04-06得票数 1
回答已采纳
我正试图在我的数据集上运行PySpark中的PySpark算法。got StringType.我的Dataframe df的形式如下：+---+---------+--------------------+
only showin
浏览 0提问于2018-04-05得票数 2
回答已采纳
3回答
我有一个列为arraytype的dataframe，它可以包含整数值。如果没有值，它将只包含一个值，并且它将是空值。重要的：注意，列将不是null，而是具有单个值的数组；nulld
浏览 2提问于2017-06-01得票数 7
回答已采纳
1回答
我尝试将一组数据转换为Databricks的考拉DataFrame，但我一直收到错误消息：[{'A': None, &#
浏览 4提问于2021-09-29得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
实时音视频
腾讯云开发者
