描述性统计或汇总统计PySpark 3.0.1
描述性统计或汇总统计PySpark 3.0.1
提问于 2020-11-18 02:17:41
我有一个spark df，需要获取基本的描述性统计信息，如下例所示：
我的spark版本是3.0.1，我已经运行了以下代码：
df.describe().show()但它只输出数据，没有任何统计摘要。
回答 1
Stack Overflow用户
发布于 2020-11-19 20:38:51
如果你的DataFrame是空的(我也在使用Spark 3.0.1)，就会发生这种情况。
尝试下面的工作示例：
from pyspark.sql.functions import rand, randn
df = sqlContext.range(0, 10).withColumn('uniform', rand(seed=10)).withColumn('normal', randn(seed=27))
df.describe().show()
现在尝试使用空的DataFrame：
df = spark.createDataFrame(([],))
df.describe().show()
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/64881029
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号