如何在火花数据中随机抽取30%的id，当每个id apperas不止一次时
如何在火花数据中随机抽取30%的id，当每个id apperas不止一次时
提问于 2020-06-29 13:42:59
我有一个火花数据，它看起来是这样的：
import pandas as pd
foo = pd.DataFrame({'id':['abc', 'abc', 'abc', 'abc', 'de', 'de', 'opqrs', 'opqrs', 'opqrs', 'opqrs', 'opqrs'], 'value': [1,2,3,4,5,6,7,8,9,10,11]})我想随机选择30%的唯一 ids，并保留包含这些ids的原始数据帧的片段。
我怎么能在火星雨里这么做？
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-06-29 14:28:49
您可以使用不同的样例函数，然后是join。
tst= sqlContext.createDataFrame([(1,2),(1,3),(1,9),(2,4),(2,10),(3,5),(2,9),(3,6),(3,8),(4,9),(4,5),(5,1)],schema=['a','b'])
tst_s = tst.select('a').distinct().sample(withReplacement=True,fraction=0.3)
#%%
tst_res = tst_s.join(tst,on='a',how='left')但是spark在示例函数上设置了一个警告:注意，这不能保证提供给定DataFrame的总计数中指定的分数。这个可以吗，还是你需要30 %的钱？
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/62639511
复制相关文章
相似问题
腾讯云开发者
