我正在尝试使用databricks中的Scala对数据帧进行转换。 在这里，我尝试删除有空值的country_region，并尝试用0填充NA的活动、确认、死亡和恢复的剩余列。但是，我注意到当我显示dataframe时，Active、Confirmed、Death和Recovered列中仍然有空值。val JHU_COVID_19: DataFrame = spark.read .options(options)
浏览 21提问于2021-07-29得票数 0
回答已采纳
我有一个包含float和double值的dataframe。scala> val df = List((Float.NaN, Double.NaN), (1f, 0d)).toDF("x", "y")
sca
浏览 2提问于2017-05-12得票数 3
回答已采纳
我有一个包含许多双列(和/或浮动)列的dataframe，这些列确实包含NaNs。我想用null替换所有的NaNs (即Float.NaN和Double.NaN)。我最近发现了DataFrameNAFunctions (df.na) fill，听起来正是我所需要的。不幸的是，我没能做到上面的事情。fill应该用给定的值替换所有NaNs和nulls，所以我这样做了：这给了我
浏览 4提问于2017-05-08得票数 2
回答已采纳
为此，我试图用该列最常见的值替换列中的空值或无效值。Name|Placea |a2 |d1c |a2 |在本例中，我将将列"Name“中的所有空值替换为'a‘，并将列"Place”中的所有空值替换为'a2’。请您帮助我完成关于如何用该列最常用的值替换空值或
浏览 0提问于2017-06-21得票数 27
回答已采纳
在我的Employees DataFrame中，我希望将佣金列中的空值替换为一个特定值(设为500)。我正在使用下面的命令替换所有空值，但我不知道Map中的空值应该是什么： `employeeDF.na.replace("commission", Map("" -> 1000)).show()`I am getting this error :
<console>:32: er
浏览 32提问于2019-10-13得票数 1
回答已采纳
我能够使用以下方法填充数字和字符串类型列：masterDF = masterDF.na.fill("")有什么想法吗？
浏览 0提问于2018-06-28得票数 1
回答已采纳
我正在考虑用其他值的平均值来替换缺失的特征，但是我不确定这对模型质量有什么影响。Spark MLlib是否提供了对此常见问题的支持？
浏览 1提问于2017-05-19得票数 0
Spark 1.6.1，Scala api。myDF.withColumn("pipConfidence", when($"mycol".isNull, 0).otherwise($"mycol"))myDF.na.fill(0,
浏览 3提问于2016-10-26得票数 11
回答已采纳
我需要替换Column of a DataFrame中的一些值(模式为空和零，我知道这种方法并不十分准确，但我只是在练习)。我精通Apache的Python文档，这些例子往往更有解释性。因此，除了Scala文档之外，我决定先看一下那里，我注意到可以使用来自DataFrames的DataFrames方法来实现我所需要的。这是一个
浏览 1提问于2016-02-19得票数 4
回答已采纳
我已经检查了下面的问题，它给出了python或scala的解决方案。和for java的方法是不同的。How to replace null values with a specific value in Dataframe using spark in Java?因此，所有列值都是字符串。其中一些值为空。我使用.na().fill("")将null值替换为空字符串 Dataset<Row> ds1 = ds.na()
浏览 70提问于2019-05-06得票数 1
回答已采纳
在DataFrameNaFunctions中，我使用replace函数将数据格式中的列的值替换为Map中的列。 [T
浏览 4提问于2021-02-24得票数 1
回答已采纳
我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我是否只需要确保存在一组惟一的列名，而不管我应用na().fill()方法的dataFrame中的表别名是什么？给定：df1: org.apache.spark.sql.DataFrame
浏览 4提问于2016-02-28得票数 3
我有一个dataframe，我想使用org.apache.spark.sql.DataFrameNaFunctions的替换()函数之一。问题：--我在智能(建议)中没有得到这些方法与dataframe的实例。我显式地导入了该类。
浏览 0提问于2016-04-08得票数 9
回答已采纳
我正在处理来自Kaggle的泰坦尼克号数据集，当Pclass为2时，我试图用30替换NA值。我尝试了下面的代码，但是值30似乎没有保存在dataframe中。data[data['Pclass']==2].fillna({'Age':30}, inplace = True)
预期的结果应该是，Pclass =2中的所有NA值都将被替换为30。但是当我再次检查时，我仍然看到NA值
浏览 6提问于2022-05-01得票数 0
回答已采纳
我有一个数据帧，如果lat是NA，那么我希望For循环再次查找一个地理代码，并将其替换为dataframe中的值。Country Continent long lat Norway Europe如何以编程方式分配R来运行一个for循环--对于dataframe中的每一行，检查NA，如果NA，然后获取地理代码
浏览 2提问于2018-01-11得票数 0
回答已采纳
我要做的是，如果第二个dataframe的值小于零，则删除第一个dataframe的值。stock2c <-c('2','-1','1')
浏览 0提问于2018-11-29得票数 2
回答已采纳
我有一个很长的向量列表，如上所述，未被调用的值必须替换为NA/NULL。64.94, 64.76, 64.58, 64.40, 64.58, 64.76, 64.94, 64.76, 67.28, 64.76, 64.40 .......是向量/数组，我有高达8000个值。考虑到第一个数据(65.12)作为当前参考值，我想用NA/NULL替换绝对值差小于0.5的连续值。因此，输出应如下所
浏览 18提问于2019-08-23得票数 0
回答已采纳
如何在spark scala Dataframe中找到所有值都为null或NA值的列名列表？
val df = Seq((Some(1.0), Some("NA"
浏览 28提问于2019-07-16得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
实时音视频
腾讯云开发者
