使列全部为空Pyspark DataFrame

文章/答案/技术大牛

发布

1回答

apache-spark、pyspark

我正在寻找一个列的列表全部为空。这些列中可能有值，也可能没有值。理想情况下，我会尝试清除列中的数据。

浏览 5提问于2021-06-08得票数 0

回答已采纳

1回答

电火花函数理解-转换因子

apache-spark、pyspark、azure-databricks

我在Apache，Databricks上用PySpark编写代码。 very_large_dataframe 250 GB来自客户端的CSV文件，其中必须只有10列A、B、C、D、E、F、G、H、I、A、B包含字符串数据C、D、E、F、G、H、I、J，包含精度为5的小数，标度2(即125.75) A、B、C、D、E，不应为空F、

浏览 6提问于2022-01-14得票数 0

回答已采纳

1回答

如何将所有的日期格式转换为日期列的时间戳？

apache-spark、datetime、pyspark、apache-spark-sql

我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。如何使用pyspark将date列中的行值转换为时间戳格式？我也尝试过下面的代码，但这是在创建一个空值的新列 df1 = df.withCo

浏览 16提问于2020-12-30得票数 2

2回答

如何创建空的考拉df

python、spark-koalas

我正在尝试使用以下命令创建空的考拉DataFrame但是我得到了以下错误我也尝试了执行命令，但发现了类似的错误 df = ks.DataFrame(columns=['col1

浏览 3提问于2020-08-24得票数 0

2回答

列的值为null，并在中进行交换。

python、pandas、dataframe、apache-spark、pyspark

我正在使用pyspark==2.3.1。我用熊猫对数据进行了数据预处理，现在我想把我的预处理功能转换成熊猫的火花放电。但是，当使用pyspark读取数据CSV文件时，许多值将变为空列，而该列实际上有一些值。如果我试图对这个dataframe执行任何操作，那么它将与其他列交换列的值。我也尝试过不同版本的火花放电。谢谢列"property_type“的值为null，但实际的

浏览 5提问于2022-02-16得票数 0

回答已采纳

2回答

在Pyspark中将任意数量的列合并为Array类型的新列

python、pyspark

我有一个pyspark dataframe，它包含N个包含整数的列。某些字段也可能为空。+---+-----+-----+| 2|123 | null|+---+-----+-----+ 我想要的是将所有以f为前缀的列组合成一个新列中的pyspark数组。features_filtered = features.select(F.concat(* features.colu

浏览 67提问于2020-06-18得票数 1

回答已采纳

2回答

用不同的列合并两个星火数据格式，以获得所有列

python、apache-spark、pyspark

450 230因此，我想要的df应该包含来自这两个数据的所有列，这些值正在交换，第二个数据帧中的一个列丢失了。

浏览 3提问于2021-08-19得票数 0

回答已采纳

1回答

pyspark.sql.utils.AnalysisException: Parquet数据源不支持空数据类型

apache-spark、pyspark、types、parquet、void

我试图在PySpark中的dataframe PySpark中添加一个列。我试过的密码：df1 = df1.withColumn("empty_column", F.lit(None)) 但我知道这个错误：pyspark.sql.utils.AnalysisException: Parquet数据源不支持空数据类型。

浏览 23提问于2022-10-18得票数 3

回答已采纳

1回答

Pyspark:如果其他列为空，则在pyspark列中填充固定值

python、pyspark

我有一个有两列的pyspark dataframe。如果另一列中的行值为空，我想用固定值填充一列。因此，在customer_df中，如果customer_address为null，则将城市列填充为“unknown” 我在试这个 customer_df = customer_df.withColumn

浏览 172提问于2020-09-26得票数 0

回答已采纳

1回答

pyspark中的to_json包含空值，但我需要空值作为空

python、struct、pyspark、azure-databricks、to-json

我正在使用pyspark中的to_json将dataframe中的结构列转换为json列，但是在json中忽略了少数结构字段中的空值，我不希望这些空值被忽略。

浏览 6提问于2020-10-14得票数 0

1回答

PySpark:如何根据列的数据类型替换空值？

python、pyspark

我有一张表格，里面有257列。我试图找出如何根据数据类型更改表中的空值。我正试图在PySpark中做到这一点。而dataframe的名字叫做df。因此，例如，如果列包含日期，则为时间戳数据类型，且该列中的空值必须为1900-01-01如果是字符串类型，则应该是n/a 谢谢

浏览 5提问于2022-04-15得票数 0

回答已采纳

2回答

如何在PySpark中获得数据类型为时间戳的列的null/nan计数？

python、apache-spark、pyspark、apache-spark-sql

我有一个名为 createdtime 的列，其数据类型为时间戳，我希望找到创建时间为空或空或nan的行数。from pyspark.sql.functions import col,isnan,when,count df_Columns=["

浏览 5提问于2022-06-26得票数 0

1回答

是否在不使用UDF的情况下向pyspark* dataframe添加新列？*

apache-spark、pyspark、spark-dataframe

我目前有一个pyspark dataframe，其中一列包含我想要使用我编写的返回信息字符串的函数查找的数字行。我知道最简单的方法是使用withCoulmn并定义一个UDF来从旧的列创建一个新列，但是我的函数不能将它注册为UDF.Is的方式使我可以基于旧列的值创建一个新的dataframe而不需要创建一个UDF？

浏览 5提问于2017-08-01得票数 1

回答已采纳

1回答

PYSPARK:-在不丢失null值的情况下分解dataframe中的数组：“DataFrame”对象没有属性“_get_object_id”

python、python-3.x、pyspark、pyspark-sql

调用下面的对象时出错是在不丢失空值的情况下分解dataframe中的数组，但在调用列时我得到错误，说对象没有属性‘_ code.This _ object _id’。需要帮助，在其他方式调用列，可以工作。from pyspark.sql import SparkSessionfrom pyspark.sql import Row frompyspark.sql.ty

浏览 2提问于2018-07-05得票数 2

2回答

Dataframe空检查pyspark

pyspark

我正在尝试使用下面的代码检查Pyspark中的dataframe是否为空。我检查了我的对象是否真的是使用类型(Df)的dd，以及它是否是类'pyspark.sql.dataframe.Dataframe‘

浏览 207提问于2021-09-17得票数 0

回答已采纳

2回答

如何删除星火表列中的空白

python、apache-spark、pyspark、databricks、sparktable

我想从特定列(Purch_location)中的所有值中删除空格。我使用的是spark表，而不是dataframe或SQL表(但如果需要，我可以使用dataframe或SQL表)。TORONTO | 4| 0|我尝试了以下函数pyspark.sql.functions导入regexp_replace from pyspark.sql.funct

浏览 6提问于2017-12-03得票数 2

1回答

如何将电火花列(pyspark.sql.column.Column)转换为火花放电数据？

apache-spark、pyspark、apache-spark-sql

我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame # like column.map(lambda x: __valid_date(x))我所拥有的，

浏览 4提问于2021-11-19得票数 0

回答已采纳

2回答

在pySpark中按条件分割数据

python、pyspark、boolean、pyspark-dataframes

我有一个dataframe值为false、true或null。我想创建两个dataframes，1)只使用True列名，2)只使用假列名。我是pySpark新手，我想知道如何在不硬编码任何列名(我有几百列)的情况下做到这一点，我知道我不能遍历行，因为这样做会违背pySpark的目的。每一列将只有一个boolen -一个T或F，因此每列多个空。我尝试使用.filter，但它只过滤了一列，它实际上打印了其他所有列，而不是

浏览 3提问于2020-05-07得票数 1

回答已采纳

2回答

如何在pyspark* dataframe中返回空值的行？*

python、pyspark、apache-spark-sql

我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror：AttributeError：'DataFrame‘对象没有属性'isNull’。如何在不对每一列进行检查的情况下获取具有空值的行？

浏览 25提问于2018-11-27得票数 5

点击加载更多