使用考拉求和空值
使用考拉求和空值
提问于 2020-10-05 19:06:13
在使用考拉时，有什么好的方法可以对所有的空/ NaN值进行数据之和？
或者说是另一种方式
如何按总空值计数的列返回列表。如果可能的话，我试图避免将数据转换成火花或熊猫。
注意：.sum()省略了考拉中的空值(skipna:boolean，默认的True -不能更改为False)。所以运行df1.isnull().sum()是不可能的
numpy被列为另一种选择，但由于数据在考拉中，我观察到.sum()仍然忽略了nan值。
免责声明:我知道我可以在星火上经营熊猫，但我知道这是反生产资源。我不愿意把它从星火或熊猫的数据中总结出来，然后将数据转换成考拉(在我看来，这再次浪费了资源)。我正在处理一个包含73列和4m行的数据集。
回答 1
Stack Overflow用户
发布于 2021-03-22 11:31:31
您实际上可以使用df.isnull()。这样做的原因是，它返回布尔值的“数组”，以指示是否缺少值。因此，如果您首先调用isnull，然后调用sum，您将得到正确的计数。
示例：
import databricks.koalas as ks
df = ks.DataFrame([
[1, 3, 9],
[2, 3, 7],
[3, None, 3]
], ["c1", "c2", "c3"])
df.isnull().sum()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/64214725
复制相关文章
相似问题
腾讯云开发者
