1回答
我有一个包含20列的spark数据帧。我想将选定列(数字列)中的NA值替换为它们的平均值。 我有一个数字列名的列表，以及它们的平均值列表。我已经编写了以下函数，但我不确定如何将其应用于Dataframe NumColNames=['MinTemp','MaxTemp','Rainfall','WindGustSp
浏览 5提问于2019-10-13得票数 0
Spark中是否有函数可以通过忽略null/NaN来计算DataFrame中列的平均值？就像在R中一样，我们可以传递一个选项，比如na.rm=TRUE。当我在带有NaN的列上应用avg()时，我只得到NaN。
浏览 1提问于2017-09-17得票数 2
回答已采纳
我使用的数据集中，变量的缺失值是用特定的数字指定的。我试图创建一个用空格替换这些值的dataframe，用NA来替换它们的另一个dataframe。对于这个问题，我将重点讨论它们被NA替换的数据。对于变量，缺失的值是由数字
浏览 2提问于2020-05-03得票数 2
回答已采纳
1回答
我想用空值替换整个dataframe的所有0实例(不指定特定的列名)。以下是我编写的代码：以下是我收到的错误： File"/usr/hdp/current/spark2-client/python&#x
浏览 4提问于2021-10-24得票数 0
回答已采纳
我正在努力提高Logistic回归算法在Spark中使用Java实现的准确性。为此，我试图用该列最常见的值替换列中的空值或无效值。例如：-a |a1a |a2b |a2c |d |c1
在本例中，我将将列"Name“中的所有空值替换</
浏览 0提问于2017-06-21得票数 27
回答已采纳
2回答
熊猫与填充物相反(0)
、、、
当df.fillna(0)用0填充所有NA/NaN值时，是否有一个函数将所有非-NA/NaN值替换为另一个值，如1？如果我的DataFrame中的值是可变长度列表，那么：
布尔索引(如df[len(df) > 0] = 1 )抛出ValueError:
浏览 4提问于2015-07-29得票数 6
回答已采纳
我正在处理来自Kaggle的泰坦尼克号数据集，当Pclass为2时，我试图用30替换NA值。我尝试了下面的代码，但是值30似乎没有保存在dataframe中。data[data['Pclass']==2].fillna({'Age':30}, inplace = True)
预期的结果应该是，Pclass =2中的所有NA值
浏览 6提问于2022-05-01得票数 0
回答已采纳
3回答
我试图用PySpark中的0值替换原始数据中的句号。
from pyspark.sql import functions as F
dataframe2 = dataframe1.withColumn("te
浏览 8提问于2019-09-01得票数 1
我有一个电火花数据，我想删除任何一行至少有一个NA。如何对dataframe的所有列执行相同的操作？") \values = [("1","2","3"), | 1
浏览 14提问于2022-10-05得票数 1
回答已采纳
我刚接触pyspark，我想在pyspark dataframe列中动态地用数字替换名称，因为我的dataframe中有超过500,000个名称。如何继续？
浏览 9提问于2019-07-25得票数 0
举个例子，我有一个dfdf = sc.parallelize([ row("NA", None, 6, 7.0), row(float("Nan")
浏览 9提问于2017-12-06得票数 0
回答已采纳
我试图在R中的dataframe中创建一个新变量( Nprice )，Nprice中的值取决于dataframe中其他向量列表中的值。, 7))
对于每个组件("Comp")，我希望查找cellchangeAug16的值，如果它是NA，那么我希望将priceAug16的<e
浏览 2提问于2017-03-28得票数 2
对于我的R程序，我希望用位于另一个dataframe的相同位置的值替换dataframe中的空值。例如：A[1,] <- c(1,NA,2,2,4)
B<- data.fram
浏览 3提问于2020-08-10得票数 3
回答已采纳
我有两个尺寸相同的r数据。我要做的是，如果第二个dataframe的值小于零，则删除第一个dataframe的值。例如，如果killer_stock dataframe的值小于0，则rank_stock中的值将替换为NA。)
stockc <-c('-1','2'
浏览 0提问于2018-11-29得票数 2
回答已采纳
1回答
似乎不支持替换无穷大值。我尝试了下面的代码，但它不起作用。还是我漏掉了什么？=sqlContext.createDataFrame([(None, None), (1, np.inf), (None, 2)])或者我必须走一条痛苦的道路:将PySpark DataFrame转换为DataFrame，替换无穷大值，然后将其转换回PySpark DataFrame。
浏览 7提问于2015-12-23得票数 6
回答已采纳
3回答
我有一种火花缭乱的数据像：1._6我要删除包含值"NA“的行。在这种情况下，首先和最后一行。如何使用Python和Spark实现这一点？基于注释的更新:寻找一个解决方案，删除在多个列中任何一个中都具有字符串: NA的行。
浏览 1提问于2019-02-23得票数 8
我对pyspark非常陌生，我有一个从csv (在胶水中)加载的数据集。有一列code，其中有string和long。db", table_name="data_csv")|-- code: choice| |-- string
似乎pyspark将缺少的值视为string。上面的)成为使用isnan时显示的实际null值。如何将它们转换为“真实”的
浏览 2提问于2020-04-30得票数 0
假设我有一个列表new_id_acc = 6,8,1,2,4，我有像这样的PySpark DataFrame id_acc | name | 20| XYZ | 34 | RAH |
19 | SPD | 我想用new_id_acc值替换pyspark列id_acc，我该如何实现并做到这一点我尝试过，发现除了常量值之外，可以使用lit()，但是没
浏览 27提问于2019-05-14得票数 1
4回答
如何在多列上执行udfs -动态
、、、、
我的要求是将这30列中的所有"Na“值转换为"null”。 if x == "Na": return "null"udf_B = udf(udf_A, StringTypeDPF_1" udf_B("DPF_1"))
df.withColumn(
浏览 4提问于2018-01-16得票数 2
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
