处理Dataframe中的空值

文章/答案/技术大牛

发布

3回答

scala、apache-spark、dataframe

我有一个DataFrame，如下所示。input.withColumn("checkNull", testUDF(col("value1"),col("value2"),col("value3"))).showValue1Value2 Value3 checkNullnull 20000 10000 null 这里，列"checkNUll“的第二行显示的</e

浏览 1提问于2017-08-04得票数 1

1回答

处理pyspark dataframe中的空值

python-3.x、dataframe、pyspark、azure-databricks

我有一些数据的pyspark dataframe，我想要substring列的一些数据，该列也包含一些null值。|| something|+--------------+ 我只想从Name列中删除Asia, US, Europ 下面是我已经尝试过的代码Name.like("Europ%"),fun_europ(col('Name')))

浏览 68提问于2019-10-17得票数 2

回答已采纳

1回答

Mongo写.options(replaceDocument，false)例外

mongodb、apache-spark

当我试图使用选项 replace document false从spark到mongo编写大量文档时。我在写作时得到以下例外：- org.apache.spark.SparkException: Job aborted due to stage failure: Task 28 in stage 18.0 failed 4 times, most recent failure: Lost task 28.3 in stage 18.0 (TID 275, 10.80.102.83, executor 2): com.mongodb.MongoBulkWriteException: Bulk w

浏览 0提问于2018-10-30得票数 0

回答已采纳

1回答

Scala和Spark - Logistic回归- NullPointerException

scala、apache-spark、nullpointerexception、user-defined-functions、logistic-regression

我的scala和星火代码有问题。我正在尝试实施一种物流回归模式。为此，我必须实现两个UDF函数来收集我的特性。问题是，每当我试图调用dataframe.show()函数时，都会得到一个错误：我想可能我的数据中有空值，为了消除可能的空值，我尝试调用dataframe.na.drop()。poblem stil存在一个它说的失败执行用户定义的函数(anonfun$3：(数组，数组) =>

浏览 0提问于2018-12-17得票数 1

回答已采纳

1回答

如何在R中处理数据帧中字符型的空记录？

r、dataframe、na

我在R中读取一个JSON txt文件作为数据帧，其中有很多空记录。现在，当我检查is.na(df)时，我对空记录不是真的。我该怎么处理呢？我尝试通过打印来检查空记录，它显示为空引号""，我相信它被dataframe算作字符。我尝试用NA替换它们，但不确定这是否是正确的处理方法。最终，我需要处理这些缺失的值。is.na(df) dfdf==""<-NA 将

浏览 14提问于2019-04-14得票数 1

回答已采纳

1回答

发生异常: TypeError 'NaTType‘对象不可调用

python、greenplum、data-lake

warehouse') password = pwd,curr=conn.cursor() for i in dataFrame.index''&

浏览 21提问于2022-07-04得票数 0

1回答

PySpark:获取数据中每个列的第一个非空值。

python、apache-spark、dataframe、pyspark、apache-spark-sql

我正在处理不同的星火DataFrames，它们在许多列中都有大量的空值。我希望从每个列中获取任何一个非空值，以查看该值是否可以转换为datetime。我尝试执行df.na.drop().first()，希望它将删除所有带有空值的行，而在剩余的DataFrame中，我将只获得第一行的所有非空值。

浏览 5提问于2017-05-09得票数 6

回答已采纳

2回答

Spark DataFrame对数据集为空

scala、apache-spark

从MS SQL数据库导入数据时，可能会出现空值。在Spark中，DataFrames能够处理空值。但是，当我尝试将DataFrame转换为强类型Dataset时，收到编码器错误。下面是一个简单的例子： def))) .toDF("a"

浏览 2提问于2017-03-31得票数 0

2回答

多类分类的RandomForestClassifier SPACK2.x

scala、apache-spark、apache-spark-mllib、random-forest、multiclass-classification

我试图使用随机森林进行多类分类，使用spark 2.1.1我有一个包含多个字符串类型列的dataframe。我是通过将StringIndexers与VectorAssembler链接起来来创建管道的，最后是用标签转换器连接RandomForestClassifier。我已经用distinct().count()检查了我的所有列，以确保我没有太多的类别，等等。label: $label.")} Error eval

浏览 1提问于2018-02-12得票数 1

回答已采纳

1回答

使用带有空列表属性的pandas.io.json.json_normalize()

python、json、pandas

，我想是因为我的一个json字段是一个空数组。据我所知，我可以向json_normalize传递额外的path参数，让它提取数组值，并使用父数据增加行：但是，我不能将它用于这个实例，因为数组是空的，因此它不返回值。是否有方法将空列表值设置为None，或者通过json_serialize函数序列

浏览 5提问于2018-04-25得票数 3

回答已采纳

1回答

如何在spark dataframe中获取记录的输入文件名？

spark-dataframe

我通过从s3加载制表符分隔的文件，在spark中创建了一个数据帧。我需要获取dataframe中每条记录的输入文件名信息，以便进一步处理。我试过了但是我得到了input_file_name的空值。谁来帮我解决这个问题。

浏览 0提问于2016-10-11得票数 5

回答已采纳

2回答

如何处理dataframe* Spark/Scala上的空/空值*

scala、apache-spark

我有一个CSV文件，我正在处理它的数据。我不想用其他值替换null/空<

浏览 9提问于2016-05-12得票数 3

2回答

从视觉上观察熊猫数据中的NaNs

python、matplotlib、pandas

我正在处理一个包含数百列，有时甚至数千列的复杂数据集。它们中的许多都是NaN，并且系统地如此(它们往往在空的分布方式上高度相关)。这使我相信，对NaNs的视觉检查是一个良好的第一步。我能做到得到每一列中的值的数目，但我不知道它们的分布。因此，我想要创建一个散点图，它直观地反映了dataframe</e

浏览 0提问于2014-06-22得票数 0

回答已采纳

1回答

时间戳StructField中的空值

scala、apache-spark

如何处理时间戳列中的空值？我将源数据保存在列表中(sql的结果) [220,1,220,220,2012-04-24 23在最后一列中，空值与时间戳混合。: scala.runtime.BoxedUnit不是时间戳模式的有效外部类型因此，Null值被包装为BoxedUn

浏览 0提问于2018-06-21得票数 0

回答已采纳

2回答

访问空数组或空数组时引发错误

java、json、scala、apache-spark

我有一个带有这种模式的JSON文件： "name" : "john doe", "home": ["1111", "222"], }家庭电话号码数组有时可能是空的。我的spark应用程序收到这些JSONS的列表，并执行以下操作： va

浏览 2提问于2017-05-21得票数 3

回答已采纳

1回答

使用条件和变量将熊猫值映射到另一个数据格式(Python )

python、pandas、dataframe

在我的示例中，我正在处理两个数据文件。一个dataframe是空的，12列编号为1-12。另一种是我希望映射的数据，以及指向映射数据应该转到哪一列的列(图像附加)。我需要使用位置矩阵将dataframe值转换为结果dataframe的正确列。下面的图片显示了我解释的内容。

浏览 12提问于2022-08-26得票数 0

1回答

如何将一个数据框的列值追加到另一个数据框的列

python、pandas、dataframe

我正在处理两个数据帧，A和B。数据帧A是用值填充的，而数据帧B是空的，除了报头结构。我想取数据帧A中的列的值，并将它们附加到数据帧B的相应列中。我已经将dataframe A列的值放到了一个列表中。我尝试将目标列值设置为与起始列值列表相等，但出现了以下错误： dataframeB[x] = l

浏览 5提问于2019-06-11得票数 0

5回答

根据某些列中的空值删除行(pandas)

python、pandas

我知道如何从包含所有空值或单个空值的DataFrame中删除一行，但是您能根据指定的一组列的空值删除一行吗？例如，假设我正在处理包含地理信息(城市、纬度和经度)以及许多其他字段的数据。我希望保留至少包含城市值或LAT值和long值的行，但删除所有这三个值都为NULL值的行。

浏览 2提问于2017-02-09得票数 6

1回答

如何为给定列添加行和值？

java、apache-spark、apache-spark-sql

因此，我现在有以下DataFrame，其值如下：+-------+--------++-------+--------++-------+--------+ 其中时间没有值(或为空)。稍后，我将在我的程序中添加更多的行，并且需要为值和时间列添加/

浏览 5提问于2017-06-26得票数 0

回答已采纳

2回答

星星之火sql query，java.lang.NullPointerException

scala、apache-spark、user-defined-functions

| 然后我定义了一个udf：现在，我尝试用定义的udf

浏览 0提问于2018-04-01得票数 0

回答已采纳

点击加载更多