我在删除数据帧中超过空值na_threshold的行时遇到了一些问题当我跑的时候
df_null = df3.where(reduce(lambda x, y: x | y, (f.col(x).isNull() for x in df3.columns))
浏览 9提问于2019-11-19得票数 0
回答已采纳
6回答
我有一个数据帧，我想删除其中一列(字符串)中具有空值的所有行。我可以很容易地得到它的计数： df.filter(df.col_X.isNull()).count() 我尝试使用下面的命令删除它。它会执行，但计数仍为正数 df.filter(df.col_X.isNull()).drop() 我尝试了不同的尝试，但它返回'object is not callable‘错误。
浏览 100提问于2017-05-24得票数 24
回答已采纳
1回答
我有一个列名和一个数据帧。我想检查该列中的所有值是否都为空，如果为空，则从数据帧中删除该列。我所做的是检查具有非空值的列的计数，如果count等于0，则删除该列，但在pyspark中这似乎是一个开销很大的操作
浏览 0提问于2019-08-09得票数 0
我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror如何在不对每一列进行检查的情况下获取具有空值的行？
浏览 25提问于2018-11-27得票数 5
如何在databricks中编写pyspark/python代码以删除在azure存储帐户中超过X天的文件。
浏览 5提问于2022-04-21得票数 0
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。_2null null125 124and so on
当我想对column_1求和时，我得到的结果是一个空值现在，我想用空格替换数据框所有列中的null。所以当我尝试对这些
浏览 1提问于2017-02-18得票数 56
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？我已经尝试了很多东西，但所有的代码都需要当前的</em
浏览 16提问于2020-12-30得票数 2
2回答
如何根据行号/行索引值的值删除Pyspark中的行值？
我对Pyspark (和编码)很陌生--我尝试过编码一些东西，但是它不起作用。
浏览 1提问于2019-04-08得票数 3
回答已采纳
我有一个这样的pyspark数据帧： +--------------------+--------------------+ | name|47| | null| pizza| +--------------------+--------------------+ 我想从每个单独的列中删除空值，以便非空数据排成一行。|
浏览 7提问于2020-06-16得票数 1
2回答
目前，我主要研究的是数据挖掘项目中的数据预处理。具体来说，我想使用基于HDFS的PySpark进行数据清理。我对这些东西很陌生，所以我想问问怎么做？例如，HDFS中有一个包含以下条目的表：1 a abc 04 b abc 15 a abc
浏览 4提问于2017-02-19得票数 2
回答已采纳
2回答
我有一列数字，我只需要删除一分钟。最多一次。然后计算剩余数字的平均值。问题是，最小/最大值可能在列中的任何位置，并且某些行可能为空(null)或具有零，或者该列可能只有3个值。30.5 D30.5 A56 D
64.2 H 如果存在多个min或max，则只能删除一
浏览 59提问于2021-04-06得票数 4
回答已采纳
如何将TextPad '中的行替换为空(即:删除只有一个字符的行)？这个电子表格中有超过90,000行的数据在列B中。有超过一百万行在列A中只有一个单引号，因为我对该列执行了"Ctrl+D“操作，将该列中的值(单引号)向下复制到所有<em
浏览 10提问于2017-07-13得票数 0
我需要将Python脚本转换为Pyspark，这对我来说是一项艰巨的任务。ROW_2 2 | pig | null | cat | null
我的目标是cow | frog | d
浏览 2提问于2020-08-10得票数 2
回答已采纳
我想使用power查询删除包含电子邮件地址的列中具有重复值的行。但我不希望删除具有重复空值或重复空单元格的行。
我该如何做到这一点？
浏览 4提问于2017-05-18得票数 0
回答已采纳
1回答
有一个数据集，并希望使用pyspark进行一些清理。删除空值大于75%的所有列。使用python：如何使用pyspark实现这一点？
浏览 0提问于2019-05-14得票数 0
我有一个这样的电火花数据仓库：| id| name|state||111| null| CT||222|name2| CT||333|name4| CT|+---+-----+-----+
对于给定的ID，即使列" name“是空的(如果它的ID不重复)，但如果ID是重复的</
浏览 1提问于2020-05-06得票数 1
回答已采纳
我以以下方式创建了一个DataFrame：spark = SparkSession \root |-- Survived: string (nullable = true) |-- Cabin: string (nullable = true)
|-- Emba
浏览 3提问于2018-10-18得票数 0
回答已采纳
2回答
我有两个专栏“感情”和“推特”。感情包含数字，推特串。我有一个带有这两列的dataframe。现在，我想删除推特长度超过150个字母的所有行。我可以通过以下方式删除X中的值： X =[x for x in X
浏览 2提问于2017-05-17得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
