1回答
我有一些数据的pyspark dataframe，我想要substring列的一些数据，该列也包含一些null值。|| something|+--------------+ 我只想从Name列中删除Asia, US, Europ 下面是我已经尝试过的代码Name.like("Europ%"),fun_europ(col('Name')))
浏览 68提问于2019-10-17得票数 2
回答已采纳
2回答
我正在使用pyspark==2.3.1。我用熊猫对数据进行了数据预处理，现在我想把我的预处理功能转换成熊猫的火花放电。但是，当使用pyspark读取数据CSV文件时，许多值将变为空列，而该列实际上有一些值。如果我试图对这个dataframe执行任何操作，那么它将与其他列交换列的值。我也尝试过不同版本的火花放电。谢谢
列"property_typ
浏览 5提问于2022-02-16得票数 0
回答已采纳
我有一个名为 createdtime 的列，其数据类型为时间戳，我希望找到创建时间为空或空或nan的行数。from pyspark.sql.functions import col,isnan,when,count
df_Columns=["
浏览 5提问于2022-06-26得票数 0
我有一个pyspark dataframe，它包含N个包含整数的列。某些字段也可能为空。f为前缀的列组合成一个新列中的pyspark数组。features_filtered = features.select(F.concat(* features.columns[1:]).alias('combined')) 它返回null (我假设是由于初始dataframe中的null)
浏览 67提问于2020-06-18得票数 1
回答已采纳
我正在使用pyspark中的to_json将dataframe中的结构列转换为json列，但是在json中忽略了少数结构字段中的空值，我不希望这些空值被忽略。
浏览 6提问于2020-10-14得票数 0
2回答
对于我正在进行的项目，我需要将API中的JSON输出读入星火DataFrame，以便进一步处理数据湖存储。但是，JSON并不仅仅是我习惯使用的常规JSON。我想将下面的JSON转换成一个星火DataFrame，这样它就可以用于Delta的处理。有人知道如何有效地将其转换为DataFrame吗？value": "Foo" {
"name"
浏览 8提问于2022-02-28得票数 1
回答已采纳
我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror：AttributeError：'DataFrame‘对象没有属性'is
浏览 25提问于2018-11-27得票数 5
2回答
我正在尝试使用以下命令创建空的考拉DataFrame但是我得到了以下错误我也尝试了执行命令，但发现了类似的错误
df = ks.DataFrame(columns=['col1
浏览 3提问于2020-08-24得票数 0
调用下面的对象时出错是在不丢失空值的情况下分解dataframe中的数组，但在调用列时我得到错误，说对象没有属性‘_ code.This _ object _id’。from pyspark.sql import SparkSessionfrom pyspark.sql import Row
frompyspark.sql.typ
浏览 2提问于2018-07-05得票数 2
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？我已经尝试了很多东西，但所有的代码都需要当前的格式，但如何转换为正确的<
浏览 16提问于2020-12-30得票数 2
我需要将JSON的列表转换为pySpark DataFrames。JSON都有相同的架构。问题是JSON中dicts的值条目有不同的数据类型。如果我使用df = spark.createDataFrame(json_list)从jsons中创建我的DataFrame，因为他无法正确地推断模式，所以pyspark“删除”了一些数据。PySpark决定complex-field
浏览 23提问于2022-03-28得票数 0
回答已采纳
1回答
我试图将列LOW的字符串值转换为双倍，但在dataframe中获取空值。df3 = df2.withColumn("LOW",df2["LOW"].cast(DoubleType()))
df3.printSchema
浏览 2提问于2022-06-23得票数 0
回答已采纳
我试图让pyspark.sql.functions.count()函数或pyspark.sql.functions.count_distinct()函数在计算列中不同元素的数量时考虑null值。accounts| null|+---+------+-----------+------+
现在，如果我运行以下代码来计算每个列中不同值的数量从我的研究来看，这似乎与coun
浏览 12提问于2022-06-07得票数 0
1回答
减少方法是否需要初始化程序？
、、、、
我试图将任意数量的PySpark数据添加到一起。下面的union_all函数尝试这样做：from pyspark.sql import DataFrame
下面的线程覆盖相同的TypeError，但适用于不同的情况(在一系列整数上使用lambda函数)：
从这一讨论中，解决方案是为reduce函数提供一个初始化器在我的</e
浏览 2提问于2020-12-18得票数 0
回答已采纳
我有两个数据帧，其中一个来自必须过滤Category的地方，另一个来自它所做的条件过滤。Dataframe 1:哪个有条件使用上面的dataframe_1，我必须从满足dataframe_1中给定条件的
浏览 0提问于2021-09-06得票数 0
我正在尝试使用下面的代码检查Pyspark中的dataframe是否为空。我检查了我的对象是否真的是使用类型(Df)的dd，以及它是否是类'pyspark.sql.dataframe.Dataframe‘
浏览 207提问于2021-09-17得票数 0
回答已采纳
2回答
如何删除星火表列中的空白
、、、、
我想从特定列(Purch_location)中的所有值中删除空格。我使用的是spark表，而不是dataframe或SQL表(但如果需要，我可以使用dataframe或SQL表)。下面是我的星火表的生成方式：cols = dataset.columns+----------+----TORONTO | 4| 0|
浏览 6提问于2017-12-03得票数 2
AUS null brand2 450 230 我需要我的结果数据brand2 450 230因此，我想要的df应该包含来自这两个数据的所有列，我还需要所有行中的Date_part --这是我尝试过<em
浏览 3提问于2021-08-19得票数 0
回答已采纳
我想知道是否有任何方法或东西可以帮助我区分真正的空值和空值。据我所知，dataframe将空值视为null。
非常感谢。
浏览 9提问于2018-07-12得票数 0
回答已采纳
我试图在PySpark中的dataframe PySpark中添加一个列。我试过的密码：df1 = df1.withColumn("empty_column", F.lit(None))
但我知道这个错误：pyspark.sql.utils.AnalysisException: Parquet数据源不支持空数据类型。
浏览 23提问于2022-10-18得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
