1回答
有没有一种简单的方法可以在pyspark中删除一个巨大的数据集(300+列>100k行)的空列？例如Python语言中df.dropna(axis=1,how='all')
浏览 10提问于2019-10-29得票数 0
回答已采纳
1回答
我想检查该列中的所有值是否都为空，如果为空，则从数据帧中删除该列。
我所做的是检查具有非空值的列的计数，如果count等于0，则删除该列，但在pyspark中这似乎是一个开销很大的操作
浏览 0提问于2019-08-09得票数 0
1回答
我正在Jupyter Notebook上使用Python，我正在尝试删除“PySpark”列中的任何空值。我尝试了这两种方法，但都不起作用：new_df.dropna()import pyspark.sql.functionsotherwise(f.lit(None))new_df.select(&
浏览 18提问于2020-05-19得票数 0
回答已采纳
1回答
有一个数据集，并希望使用pyspark进行一些清理。删除空值大于75%的所有列。使用python：如何使用pyspark实现这一点？
浏览 0提问于2019-05-14得票数 0
1回答
我有一个pyspark dataframe，其中一列填充了列表，要么包含条目，要么只包含空列表。我想高效地过滤掉所有包含空列表的行。import pyspark.sql.functions as sf: java.lang.RuntimeException: Unsupported literal type class
也许我可以检查列表的长度，并强制它应该大于0(参
浏览 17提问于2017-02-24得票数 7
回答已采纳
1回答
我想在PySpark DataFrame中删除行，其中某个列包含一个空映射。我该怎么做？我似乎不能声明一个类型化的空MapType来比较我的列。我已经看到，在Scala中，您可以使用typedLit，但是在PySpark中似乎没有类似的东西。我还尝试过使用lit(...)并将其转换为struct<string,int>，但我没有为lit()找到可接受的参数(尝试使用返回null的None
浏览 2提问于2019-09-29得票数 2
回答已采纳
3回答
如果我们有一个由一列类别和一列值组成的Pandas数据框架，我们可以通过执行以下操作来删除每个类别中的平均值：nameToMean = {...}
f = l
浏览 8提问于2015-12-25得票数 19
回答已采纳
我有一个这样的pyspark数据帧： +--------------------+--------------------+ | name|47| | null| pizza| +--------------------+--------------------+ 我想从每个单独的列中删除空值，以便非空数据排成一行。| pizza| +----------
浏览 7提问于2020-06-16得票数 1
在PySpark中是否有与pandas info()方法等效的方法？我正在尝试获取有关PySpark中数据帧的基本统计信息，例如:列数和行数、空值数、数据帧大小
pandas中的Info()方法提供了所有这些统计信息。
浏览 4提问于2017-06-08得票数 6
我的吡火花数据框架有几个列，其中有几个列是空的，例如，入站交付(中间是便条空间)。当我试图使用.filter进行比较时，我得到了一个错误。我不想重新定义模式，删除空白，因为我有一个巨大的表，几乎所有的表都有相同的名称空间。是否有一种快速使用名称为空的筛选器的方法？0090043373’).show()
在deco(*a，**kw) 62中回溯(最近一次调用
浏览 0提问于2019-06-12得票数 1
我是PySpark的新手。我只想保留至少有10个值的列现在如何提取值小于10的列名，然后在写入新文件之前删除这些列
df = spark.read.parquet(file
浏览 1提问于2019-09-28得票数 1
在Pyspark中，我们有:第一个()函数返回列中的第一个元素，当ignoreNulls设置为True时，它返回第一个非空元素，()函数返回列中的最后一个元素，当ignoreNulls设置为True时，它进一步返回最后一个非空元素。我想知道，我们是否有相同的scala方法。
提前谢谢你。
浏览 21提问于2022-10-10得票数 0
回答已采纳
我有一个pyspark dataframe，它包含N个包含整数的列。某些字段也可能为空。f_2 || 1| null| null|| 3|124 |127 |
+---+-----+-----+ 我想要的是将所有以f为前缀的列组合成一个新列中的pyspark数组。features_filtered = features.select(
浏览 67提问于2020-06-18得票数 1
回答已采纳
1回答
我正在使用OpenFoodFacts数据集使用PySpark。有相当多的列完全由缺失的值组成，我想删除这些列。我一直在查找检索每一列中缺失值的数量的方法，但它们以表格格式显示，而不是实际给出总空值的数值。下面的代码显示列中缺少的值的数，但以表格式显示它
from pyspark.sql.functions im
浏览 5提问于2022-11-21得票数 0
回答已采纳
我在我的pyspark上使用pyspark.ml.feature.StopWordsRemover类。它有ID和文本列。除了提供默认的停止词列表外，我还想添加自己的自定义列表，以从字符串中删除所有数值。fr
浏览 0提问于2017-04-26得票数 9
回答已采纳
我在一列中有一个带有股票代码的df，下一列称为‘快速添加’，它要么填充值'Add‘，要么是空的。new_df = df_obj[2:]
浏览 1提问于2020-04-03得票数 0
回答已采纳
spark_my_df = sc.createDataFrame(my_df) 388
浏览 1提问于2016-11-10得票数 34
给出一个具有非空uuid列和可空uuid列的表设计，如何使用Python3.7.9与Pysmack2.4.3数据table和PostgreSQL42.2.18.jar驱动程序进行插入？Pyspark没有生成正确的INSERT语句，或者postgres驱动程序将单词NULL视为字符而不是关键字。在pyspark.sql.types中没有uuid类型的条目。剩下的唯一方法似乎是将dataframe拆分为
浏览 9提问于2020-11-03得票数 4
使用Pyspark，如何选择/保留包含非空值的所有列；或者等效地删除不包含数据的所有列。如果还有其他内置的火花函数，请告诉我。
浏览 4提问于2017-08-11得票数 8
我需要将要合并的表的数每次根据数据可用性进行更改。例如，在下面，有时它可以是所有的3 (df1，df2，df3)或任何两个(df1，df2或df2，df3或df1，df3)或单个。all中的联接键是'name'，连接类型是left。
我不希望最终用户手动输入表名，而是拥有一个函数，它可以根据以前步骤中的可用数据动态地输入表名，并跳过不可用的数据。
浏览 4提问于2022-03-14得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
