1回答
我已经编写了一段PySpark代码，用于设置这样的条件:如果给定列中存在空值，则将“Yes”附加到另一列，否则将“No”附加到另一列。data = data.withColumn('Coupon_code',when((data.coupon ==""),"No coupon").otherwise("coupon")) 这里的条
浏览 22提问于2020-12-08得票数 0
回答已采纳
1回答
检查火花数据中的行值是否为空。
、、、、
我正在使用pyspark中的自定义函数来检查星火数据true中每一行的条件，如果条件为true，则添加列。守则如下：from pyspark.sql.functions import *sdf.show(
浏览 3提问于2016-08-19得票数 7
我正在处理一个包含1000 s列的df (一些列包含数字值，一些列包含字符和一些逻辑值)，我的df conatins值如“不适用”、“未知”、“未确定”等。如何用"NA“替换所有这些值？--我尝试过遵循下面的代码，它输出空单元格，而不是用"NA“替换。na_string <- c("NA“、"Not_Applicable”、“不可用”、
浏览 0提问于2020-09-04得票数 1
回答已采纳
1回答
我现在开始使用火花放电。我有两个列dataframe和一个列包含一些空，例如。来填写df1中的空。我首先从df2创建一个查找字典，然后使用df1上的apply来填充空值。但是我并不确定在pyspark中使用什么函数，我看到的大多数替换null都是基于简单的条件，例如，将所有的空</em
浏览 2提问于2018-03-14得票数 1
回答已采纳
2回答
用电火花替换结构型柱的空白点
、、、、
我有一个用例，希望用空值替换StructType列中的空值。下面是示例，您可以使用它重新创建场景： ),)
df.show(
浏览 3提问于2022-01-31得票数 1
回答已采纳
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。_2null null125 124and so on
当我想对column_1求和时，我得到的结果是一个空值现在，我想用空格替换数据框所有列中的<
浏览 1提问于2017-02-18得票数 56
回答已采纳
尝试弄清楚如何用空值随机替换Pyspark中的特定列。： | A | B || 1 | 2 || 5 | 6 || 9 | 10 ||----|------|
| 1
浏览 29提问于2020-09-18得票数 2
回答已采纳
1回答
我正在使用spark DataFrame，我希望检测来自特定列的任何值，其中该值不是单调递减的。对于这些值，我想根据排序条件将它们替换为以前的值。下面是一个概念性的示例，假设我有一个值为[65, 66, 62, 100, 40]的列。值"100“不遵循单调下降趋势，因此应替换为62。
浏览 15提问于2020-02-14得票数 1
回答已采纳
我尝试在python中创建一个自定义用户定义的函数，通过使用平均值、中值和模式值来替换dataset中缺少的值。但我无法获得所需的输出。当数据集中的列不倾斜时，将用它的平均值替换空值。当数据集中的列被倾斜时，空值将被它的<
浏览 7提问于2022-07-17得票数 0
回答已采纳
1回答
在PySpark的重采样操作中，我遇到了问题。我的数据是：+-------------------+------------------+，通过使用Spark函数，将"sum“列中的空值替换为"sum”列中前一个和下一个变量的平均值。如果"sum“列中有nu
浏览 0提问于2018-09-10得票数 0
回答已采纳
我正试图在现有的DataFrame中创建新列。10|null|null|null|+----+----+---+----+----+----+----++------+------+-----+------+------+----
浏览 4提问于2019-12-17得票数 0
回答已采纳
1回答
pySpark替换特定列中的空值
、、、、
但是，下面的代码将数据中的所有空值替换为"nI“。我只想为被重命名的列替换空。我想在不硬编码任何列名的情况下这样做。
浏览 1提问于2020-06-05得票数 2
回答已采纳
2回答
如何用平均值替换列col1中的空值？然而，有以下条件：1 121 142 222 NaN3 NaN
id=1的NaN值应由id=1上计算的col1平均值(即12 ((12+14+10)/3)来代替)。像id=3这样的情况可以忽略，NaN可以保留。我用PYS
浏览 0提问于2019-07-25得票数 0
回答已采纳
我需要替换Spark dataframe中列中存在的空值。下面是我尝试过的代码 df=df.na.fill(0,Seq('c_amount')).show() 但是它抛出了一个错误NameError: name 'Seq' is not defined 下面是我的表格
浏览 144提问于2020-07-02得票数 0
回答已采纳
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
当我运行我的SSIS包时，我收到一个#Name？在不存在值的列单元格中，因此我使用以下条件创建了一个条件拆分:ISNULL(列名) || LEN(列名) == 0。客户希望列单元格为空，而不是显示0。当我将0替换为？或“”，则条件拆分无法识别该字符。感谢您能给予的</e
浏览 5提问于2017-09-26得票数 0
我对pyspark非常陌生，我有一个从csv (在胶水中)加载的数据集。有一列code，其中有string和long。将缺少的值视为string。我通过像这样扁平化列找到了这一点。string，但是我找不到如何使null值(上面的)成为使用isnan时显示的实际null值。如何将它们转换为“真实”的null值(可被isNull()识别)？
浏览 2提问于2020-04-30得票数 0
2回答
我有一张这样的桌子。0 6 0 0 我想添加一个新列new_val，此列的条件是，如果为prod = 0，则new_val应来自前一行where prod = 1。如果为prod = 1，则它应该与val列具有相同的值。如何使用spark sql实现这一点？2000
浏览 6提问于2020-04-08得票数 0
1回答
假设您有一个包含一些空值的，如果存在的话，您希望将一个列的值替换为来自另一个列的值。在Python/Pandas中，您可以使用Pandas()函数很好地完成这一任务：
df = spark.createDataFrame([('a', 'b', 'c'),(None,'e', 'f&
浏览 1提问于2017-02-09得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
