我需要替换Spark dataframe中列中存在的空值。下面是我尝试过的代码 df=df.na.fill(0,Seq('c_amount')).show() 但是它抛出了一个错误NameError: name 'Seq' is not defined 下面是我的表格
浏览 144提问于2020-07-02得票数 0
回答已采纳
例如：How to automatically drop constant columns in pyspark?但我发现，没有一个答案解决了这个问题，即countDistinct()不将空值视为不同的值。因此，只有两个结果null和none NULL值的列也将被删除。一个丑陋的解决方案是将spark dataframe中的所有null值替换为您
浏览 23提问于2021-04-01得票数 1
回答已采纳
1回答
我有两个列dataframe和一个列包含一些空，例如。df1 s.t来填写df1中的空。我首先从df2创建一个查找字典，然后使用df1上的apply来填充空值。但是我并不确定在pyspark中使用什么函数，我看到的大多数替换null都是基于简单的条件，例如，将所有的空值填充为某个列的<
浏览 2提问于2018-03-14得票数 1
回答已采纳
我正在使用pyspark中的to_json将dataframe中的结构列转换为json列，但是在json中忽略了少数结构字段中的空值，我不希望这些空值被忽略。
浏览 6提问于2020-10-14得票数 0
我有一个名为 createdtime 的列，其数据类型为时间戳，我希望找到创建时间为空或空或nan的行数。from pyspark.sql.functions import col,isnan,when,count
df_Columns=["
浏览 5提问于2022-06-26得票数 0
Spark中是否有函数可以通过忽略null/NaN来计算DataFrame中列的平均值？就像在R中一样，我们可以传递一个选项，比如na.rm=TRUE。当我在带有NaN的列上应用avg()时，我只得到NaN。
浏览 1提问于2017-09-17得票数 2
回答已采纳
2回答
用旧日期填充空日期值
、、、
问题：下面的代码无法在date列中将空日期值替换为12/31/1900。我在这里可能做错了什么，我们如何解决这个问题？Dataframe df是从数据文件中加载的，其列Order_date具有MM/dd/yyyy格式的值。我正在将这个数据文件导入到Azure SQL Db的一个SQL表中，该表具有同名Order_date的对应列。下面的代码成
浏览 9提问于2022-06-12得票数 0
回答已采纳
3回答
我试图用PySpark中的0值替换原始数据中的句号。
from pyspark.sql import functions as F
dataframe2 = dataframe1.withColumn("test_col&qu
浏览 8提问于2019-09-01得票数 1
我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror：AttributeError：'DataFrame‘对象没有属性'is
浏览 25提问于2018-11-27得票数 5
6回答
我是PySpark的新手。deviceDict = {'Tablet':'Mobile','Phon
浏览 5提问于2017-05-15得票数 23
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？我已经尝试了很多东西，但所有的代码都需要当前
浏览 16提问于2020-12-30得票数 2
我刚接触pyspark，我想在pyspark dataframe列中动态地用数字替换名称，因为我的dataframe中有超过500,000个名称。如何继续？
浏览 9提问于2019-07-25得票数 0
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。_2null null125 124and so on
当我想对column_1求和时，我得到的结果是一个空值现在，我想用空格替换数据框所有列中的<
浏览 1提问于2017-02-18得票数 56
回答已采纳
2回答
我有一个pySpark dataframe，其中有我想要替换的空值，但是要替换的值对于不同的组是不同的。我的数据看起来是这样的(appologies，我没有办法通过它作为文本)：对于组A，我希望用-999替换空值；对于组B，我想用0替换空值。有更
浏览 5提问于2022-11-16得票数 3
尝试弄清楚如何用空值随机替换Pyspark中的特定列。： | A | B || 1 | 2 || 5 | 6 || 9 | 10 ||----|------|
| 1
浏览 29提问于2020-09-18得票数 2
回答已采纳
2回答
我正在尝试使用以下命令创建空的考拉DataFrame但是我得到了以下错误我也尝试了执行命令，但发现了类似的错误
df = ks.DataFrame(columns=['col1
浏览 3提问于2020-08-24得票数 0
我试图让pyspark.sql.functions.count()函数或pyspark.sql.functions.count_distinct()函数在计算列中不同元素的数量时考虑null值。accounts| null|+---+------+-----------+------+
现在，如果我运行以下代码来计算每个列中不同值的数量从我的
浏览 12提问于2022-06-07得票数 0
我试图使用随机森林进行多类分类，使用spark 2.1.1我有一个包含多个字符串类型列的dataframe。我是通过将StringIndexers与VectorAssembler链接起来来创建管道的，最后是用标签转换器连接RandomForestClassifier。我已经用distinct().count()检查了我的所有列，以确保我没有太多的类别，等等。经过一些调试后，我了解到每当我开始对某些<
浏览 1提问于2018-02-12得票数 1
回答已采纳
调用下面的对象时出错是在不丢失空值的情况下分解dataframe中的数组，但在调用列时我得到错误，说对象没有属性‘_ code.This _ object _id’。需要帮助，在其他方式调用列，可以工作。from pyspark.sql import SparkSessionfrom pyspark.sql im
浏览 2提问于2018-07-05得票数 2
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
