如何同时使用两个功能对RDD条目进行排序？
提问于 2017-07-31 13:25:06
我有一个Spark RDD，我想要以有组织的方式对其条目进行排序。假设条目是一个包含3个元素(name,phonenumber,timestamp)的元组。我希望首先根据phonenumber的值对条目进行排序，然后根据timestamp的值对条目进行排序，同时遵守而不是更改基于phonenumber的排序。(因此，timestamp仅根据phonenumber排序进行重新排列)。有没有Spark函数可以做到这一点？
(我在Scala中使用Spark 2.x )
回答 2
Stack Overflow用户
回答已采纳
发布于 2017-07-31 13:55:01
为了在RDD中进行基于多个元素的排序，您可以使用sortBy函数。请在下面找到一些Python的示例代码。您也可以在其他语言中以类似方式实现。
tmp = [('a', 1), ('a', 2), ('1', 3), ('1', 4), ('2', 5)]
sc.parallelize(tmp).sortBy(lambda x: (x[0], x[1]), False).collect()致以敬意，
Neeraj
Stack Overflow用户
发布于 2017-07-31 14:17:12
您可以在RDD上使用sortBy函数，如下所示
val df = spark.sparkContext.parallelize(Seq(
("a","1", "2017-03-10"),
("b","12", "2017-03-9"),
("b","123", "2015-03-12"),
("c","1234", "2015-03-15"),
("c","12345", "2015-03-12")
))//.toDF("name", "phonenumber", "timestamp")
df.sortBy(x => (x._1, x._3)).foreach(println)输出：
(c,1234,2015-03-15)
(c,12345,2015-03-12)
(b,12,2017-03-9)
(b,123,2015-03-12)
(a,1,2017-03-10)如果你有一个带有toDF("name", "phonenumber", "timestamp")的数据帧，那么你可以简单地做
df.sort("name", "timestamp")希望这能有所帮助！
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45417220
复制相关文章
腾讯云开发者
