在Scala Spark中，如何根据列的百分位值过滤数据帧
提问于 2020-11-02 18:18:41
假设我有这个数据帧：
val df = Seq(("Mike",1),("Kevin",2),("Bob",3),("Steve",4)).toDF("name","score")
我想过滤这个数据帧，以便它只返回"score“列大于等于第75个百分位数的行。我该怎么做呢？
非常感谢，祝你有愉快的一天！
回答 1
Stack Overflow用户
发布于 2020-11-02 20:44:58
你想让你的过滤器基于的是upper quartile。
它也被称为上四分位数或第75个经验四分位数，75%的数据位于这一点以下。
根据答案here，您可以使用spark的approximateQuantile来获得您想要的内容：
val q = df.stat.approxQuantile("score", Array(.75), 0)
q: Array[Double] = Array(3.0)这个数组(q)给出了第三个和第四个四分位数之间的边界。
使用一个简单的spark过滤器就可以得到你想要的：
df.filter($"score" >= q.head).show
+-----+-----+
| name|score|
+-----+-----+
| Bob| 3|
|Steve| 4|
+-----+-----+页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/64651093
复制相关文章
![【代码】Python多线程执行并且按原本顺序返回[详细注释]](https://developer.qcloudimg.com/http-save/yehe-1342517/56da422d06be71fd7a12c742e0ac76ff.png)
腾讯云开发者
