当在聚合函数中使用collect_set时，我会得到pyspark值的[]，但我想要的是None，通常是像[None]中的数组值。有没有办法替代它？对于非None值，它看起来已经可以了。
浏览 16提问于2019-09-12得票数 0
我有一个聚合的DataFrame，其中有一个使用collect_set创建的列。现在我需要在这个DataFrame上再次聚合，并再次将collect_set应用于该列的值。问题是，我需要将collect_Set应用到集合的值上--而且我看到的唯一方法就是爆炸聚合的DataFrame。有更好的办法吗？Canada
浏览 1提问于2019-02-10得票数 9
回答已采纳
Name Code Value1 Person2 B 15df.groupBy("ID").agg(collect_set("Code").alias("Code"),
collect_set("Value").alias("Value"
浏览 3提问于2020-06-10得票数 1
回答已采纳
1回答
int, s string);
(1, "a1&b2"), (2, "c1&d2"),
(2, "c1"); S列包含由&分隔的值 所需的输出应按第1列分组，并连接s列，但只有一个唯一的子字串值(用&分隔)： i
浏览 100提问于2020-04-05得票数 1
回答已采纳
2回答
我查找了任何类似于熊猫df.groupby(upc)['store'].unique()的火花放电的参考资料，其中df是熊猫中的任何数据。 ])df = spark.createDataFrame(data=data2,schema=schema)
我认识unique_count，但我需要unique_values的帮助
浏览 5提问于2021-12-13得票数 0
回答已采纳
我正在尝试找到一个有效的解决方案来解决Spark SQL中的一个恼人的行为。我正在对大量文件进行预处理，以便加载到Druid中，这涉及到以下操作：val df = dfIn.select("A","B","C","D").filter($"B" === 1 || $"B" === 2)
val dfFinal = d
浏览 1提问于2017-07-01得票数 0
1回答
我想从来自两个不同表的列中的元素创建一个集合。对于第一个表table1，我希望根据第一列的值对第二列的元素进行分组；我得到的东西是这样的： |1RT|[ab
浏览 5提问于2019-07-14得票数 2
这是我的数据集的一个示例。我想编写Spark，将带有重复值的项目列表更改为唯一值，因此，例如'apple，香蕉，香蕉‘将出现'apple，香蕉’--我在这里编写了代码：FROM dat
浏览 1提问于2021-11-08得票数 0
我有一个有两列的pyspark dataframe： +----------------------+------++---------[1, 2, 3, 4] |group2|+----------------------+------+ 我想通过名为group的列进行分组，并且只从列col_list中收集唯一值
浏览 3提问于2020-01-01得票数 0
回答已采纳
我正在寻找一种使用like操作符查询具有多个值的collect_set/list列的方法。在下面的示例中，我希望获得具有values like '121%'之一的行1 ["8001","12100"]3 NULL
4["5671","97
浏览 1提问于2022-03-09得票数 2
回答已采纳
1回答
("B",11,5), ("B",13,5)|id |collect_set(value)|
+---+--------------
浏览 0提问于2018-11-08得票数 0
回答已采纳
1回答
按键显示不同值的星火/蜂巢
、、、、
在大数据处理中，通常希望在不改变现有查询结构(分组、子查询等)的情况下“勾勒”组摘要。在Spark (和HiveQL)中，collect_set就是这样做的一个例子。它构建每个组列的唯一值的数组。我正在寻找一个联非新议程，它为B列的每个唯一值从A列构建一个唯一值的</
浏览 12提问于2016-12-30得票数 0
回答已采纳
1回答
我有一个有许多列的数据集，如下所示：(列-name、时间戳、平台、clickcount、id)May 2020-
浏览 1提问于2021-12-23得票数 2
y|| b| 1| y|+-----+-----+------+ 我想按" group“列分组，并按"label”列收集，同时过滤活动列中的值。预期的结果将是 +-----+---------+---------+----------++-----+--------
浏览 46提问于2021-03-31得票数 1
回答已采纳
2回答
我正在尝试创建一个数据集，其中我根据另一个列的值聚合了一个列。，最终创建一个由两个列表组成的数组，按照进攻性列和id对其进行分组，并根据得分值对它们进行排序。，但这是需要的，应该注意的是，id的所有内容都是不同的和唯一的，并且id2都是相同的。我一直在查看presto中的array_agg函数
浏览 0提问于2018-05-28得票数 1
回答已采纳
1回答
我有一张有小时数据的桌子。我希望找到数组中所有小时的小时数以及col1和col2的值。a || 08 | 0.2 | c |+-----+-----+-----+
我使用下面的查询来获取数组中的列值')，cast(col1 as String)为col1_arr，map_values(str_to_map(concat_ws('，'
浏览 2提问于2017-03-14得票数 1
回答已采纳
RDD已经做到了，但它并不是真正的可读性，所以当涉及到代码可读性时，这种方法会更好。 取这个初始的和结果的DF，包括开始的DF和我希望在执行.groupBy()之后获得的结果。NY"), "Jordan" -> (18, "NY"))),).toDF() 到目前为止，我尝试的<
浏览 97提问于2019-09-04得票数 1
我想要实现的是，对于下面的DataFrame：生成以下输出：这是我想出来的Scala代码：我已经尝试了使用RDDs来替代这段代码，不知何故，它们快了大约30%，但问题仍然是一样的:这一切的效率都非常低。我在本地对本地Cassandra运行Spark，该本地Cassandra托管了一个只有1000行的样本数
浏览 11提问于2018-12-17得票数 0
= dfExploded.groupBy("Key","PassportNum","Age").agg(collect_set("Email").alias("Emails"))
在这种情况下，这可能不是一种糟糕的方法但在我的实际情况下，我执行爆炸在一个单一的列，我有另外20列，如PassportNum，年龄.它们将被复制。这意味着我需要在groupBy中添加大约20<e
浏览 0提问于2018-04-02得票数 2
回答已采纳
2回答
我想要计算一个新的列c1，即collect_set的类型，然后连接collect_set的结果，最后从结果中删除转义。在Hive中，查询是：
select distinct numcat,numpl,numcr, natcat, cdvign, translate(concat_ws('!'
浏览 2提问于2020-10-28得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
