Pyspark 'for‘循环没有使用.filter()正确过滤pyspark-sql数据帧。
Pyspark 'for‘循环没有使用.filter()正确过滤pyspark-sql数据帧。
提问于 2020-12-16 17:51:16
我正在尝试创建一个for循环，首先:过滤一个pyspark sql数据帧，然后将过滤后的数据帧转换为pandas，对其应用一个函数，并将结果添加到一个名为results的列表中。我的列表包含一个字符串序列(这将是dataframe中的某种id )；我希望for循环在每次迭代中从列表中获取一个字符串，并过滤dataframe中id为该字符串的所有行。示例代码：
results = []
for x in list:
aux = df.filter("id='x'")
final= function(aux,"value")
results.append(final)
results数据帧是一个时间序列，我在循环外部应用aux = df.filter("id='x'")转换，然后函数运行时没有问题；问题出在循环本身。但是，当我执行aux.show()时，它显示一个空的数据帧。数据帧是一个时间序列，我在循环外部应用aux = df.filter("id='x'")转换，然后函数运行时没有问题；问题出在循环本身。
有人知道为什么会发生这种情况吗？
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-12-16 18:16:02
尝试下面的代码。筛选器表达式中不会替换x。
results = []
for x in list:
aux = df.filter("id = '%s'" % x)
final= function(aux,"value")
results.append(final)
results页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/65320896
复制相关文章
相似问题
腾讯云开发者
