我知道如何分解数组的单列，但我有多个数组列，这些数组在索引值方面彼此对齐。在我的dataframe中，分解每一列基本上只是做一个无用的交叉连接，导致几十个无效的行。因此，我将从显示数据开始。这显示了来自SparkNLP的一些结果，其中包含一些文本和文本<em
浏览 11提问于2020-02-05得票数 1
假设我有一个数据帧，如下所示df.show()
我想创建一个包含"source1“、"source2”、"source3“的数组<
浏览 0提问于2021-09-28得票数 0
1回答
如何通过改变数据库中的模式将数据插入到增量表中。 在Databricks Scala中，我分解了一个Map列并将其加载到增量表中。我有一个预定义的增量表模式。 假设模式有4列A、B、C、D。因此，有一天，我使用下面的代码将包含4列的数据帧加载到增量表中。lo
浏览 18提问于2021-10-29得票数 0
3回答
我需要联合两个数据帧，并通过键组合列。这两个datafrmae具有相同的模式，例如：|-- id: String (nullable = true)| |-- key: string我想按"id“分组，并将"cMap”聚合在一起以进行重复数据删除。value)
Row(
浏览 0提问于2017-05-29得票数 2
回答已采纳
中创建第4列，其中包含所有这3列的值数组，如| indiana|需要这个数组，因为countVectorizer模型的输入应该是包含值数组的列。我试图从这3列输入数
浏览 1提问于2017-09-05得票数 0
回答已采纳
("collection", collectionName).load() 对于结果DataFrame中的data列，我得到以下类型： StructType(StructField(configurationName： AnalysisException: Parquet数据源不支持struct 看起来问题在于我将NullType隐藏在data列的类型中。我看的是How to handle null values when writ
浏览 24提问于2021-08-11得票数 1
1回答
下面是AWS Glue的简单脚本。我有一个带有空单元格的文本文件和一个接受空值的表。当我运行胶水作业时，它会失败，例外情况是“不知道如何将NullType保存为REDSHIFT”。如何处理此问题，或者通过Glue在RedShift中不支持空插入？我没有任何空字符就重新生成了我的文件，我也有同样的问题。
我添加了这行代码。推断了一些不存在的NullType字段。添加了这一行代码后，插入了行，但似乎没有包含</e
浏览 4提问于2017-11-28得票数 5
我用的是Scala和Spark。我有两个数据帧。--------+| 35 | 15 | [a,b,d] |在第二个文件中，数据帧报头是我通过添加所有可能的头列创建了一个case类。现在我想要的是，通过匹配列
浏览 1提问于2020-09-07得票数 1
回答已采纳
我正在处理一个数据帧，看起来像这样： root |-- positions: struct (nullable = true)) | | |-- lng: double (nullable = true) 位置Struct中的因此，具有精确和不精确位置的行应该分解为两行。 分解这些</em
浏览 37提问于2020-01-16得票数 0
回答已采纳
2回答
我的数据如下所示：如何在spark sql中查询时检查col3是否为空？我试图分解，但当我这样做时，空数组行正在消失。有人能给我提个建议吗？result.withColumn("subscriptionProvider", explode($"subscriptionProvider
浏览 0提问于2016-07-19得票数 4
回答已采纳
在Spark中，根据映射表(String -> Integer)，有没有办法将字符串数组转换为相应的整数数组？例如:在Spark中，有5亿个数组， Array String 1 : ['TOM','White','Black']
Array String 2 : ['BCD','TTTT','Black']
浏览 25提问于2019-09-02得票数 1
我有一个包含一组计算列的Apache Spark数据帧。对于数据帧中的每一行(大约2000行)，我希望获取10列的行值，并定位第11列相对于其他10列的最接近值。我想我会把这些行值转换成一个列表，然后使用abs值计算来确定最接近的值。
但是我被困在如何将行值转换为列表
浏览 1提问于2017-10-03得票数 0
1回答
我们如何在Spark中分解多个数组列？我有一个包含5个字符串化数组列的数据帧，我想在所有5列上进行分解。为了简单起见，用3列显示示例。col3
["b_val1","b_val2"] ["at_val1","at_val2","at_val3"
浏览 5提问于2020-09-08得票数 0
回答已采纳
给定一个包含JSON数组的spark 2.3 DataFrame，我如何将这些数组转换为JSON字符串的Spark数组？或者，等效地，我如何分解JSON，以便通过以下输入："""[{"a":1},{"b":2}]"""
"""
浏览 2提问于2018-09-17得票数 2
我在Spark Structured Streaming 2.3.0中读取了Kafka的数据。这些数据包含了一些教师的信息，有teacherId，teacherName和teacherGroupsIds。TeacherGroupsIds是一个数组列，其中包含组的ids。在我的任务中，我必须将具有组ids的列映射
浏览 18提问于2019-06-14得票数 1
我使用DataFrame来处理spark中的数据。我在这个数据帧中有一个数组列。在我要做的所有转换的最后，我得到了一个包含一个数组列和一行的dataframe。为了应用groupby、map和reduce，我想把这个数组作为一个列表，但我做不到。$ofRef cannot be cast to scala.co
浏览 33提问于2021-04-11得票数 0
2回答
、复杂和数组类型值的混合。但是，当我尝试获取key51的数据类型时，我得到了以下错误： ... 48 elided
我的主要目的是能够分解一个给定的类型，如果它的ArrayType，而不是任何其他类型的
浏览 2提问于2018-01-15得票数 2
回答已采纳
1回答
我在matlab中有两个数组，用两种不同的方法表示跟踪点。在每个数组中，第一列包含帧编号，第二列和第三列是x，y坐标。轨迹不一定在同一帧开始或结束，但我想比较任何常见帧的轨迹之间的距离。我的输入数据是这样的：[ 130 50 20; [ 128 48
浏览 0提问于2012-11-09得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
