获取一组中最少的行集
获取一组中最少的行集
提问于 2018-09-19 04:05:17
我有一个带有值的数据
#+-------+---------+-----+
#|name1 |name 2 |score|
#+-------+---------+-----+
#| abcdef| abcghi | 3|
#| abcdef| abcjkl | 3|
#| abcdef| abcyui | 3|
#| abcdef| abrtyu | 4|
#| pqrstu| pqrswe | 2|
#| pqrstu| pqrsqw | 2|
#| pqrstu| pqrzxc | 3|
#+-------+---------+-----+我需要按name1分组，选择得分最少的行。
据我所知，我可以在name1上的groupby之后选择最上面的行，并按升序对得分进行排序，并选择第一行。我这么做是靠
joined_windows = Window().partitionBy("name1").orderBy(col("score").asc())
result = joined_df.withColumn("rn", row_number().over(joined_windows)).where(col("rn") == 1).drop("rn")但是，我希望dataframe保存以下值(即，每组中得分最少的行集)。
#+-------+---------+-----+
#|name1 |name 2 |score|
#+-------+---------+-----+
#| abcdef| abcghi | 3|
#| abcdef| abcjkl | 3|
#| abcdef| abcyui | 3|
#| pqrstu| pqrswe | 2|
#| pqrstu| pqrsqw | 2|
#+-------+---------+-----+回答 2
Stack Overflow用户
回答已采纳
发布于 2018-09-19 04:22:49
对于持有几个值，可以使用这样的代码：
val joined_windows = Window.partitionBy("name1")
val result = df.withColumn("rn", min($"score").over(joined_windows))
result.where($"rn"===$"score").drop("rn").show(false)输出：
+------+------+-----+
|name1 |name 2|score|
+------+------+-----+
|abcdef|abcghi|3 |
|abcdef|abcjkl|3 |
|abcdef|abcyui|3 |
|pqrstu|pqrswe|2 |
|pqrstu|pqrsqw|2 |
+------+------+-----+Stack Overflow用户
发布于 2018-09-19 05:37:21
您可以按两列分组：
df \
.groupBy('name1', 'name2') \
.agg(F.min('score'))页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/52405485
复制相关文章
点击加载更多
相似问题
包含所有行ID的最少公共日期集
用于声明一组相似变量的最少代码行
获取特定行两边的最少行总数。
行绑定一组数据集？
如何在sql中获得最少的行
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
