Pyspark根据条件创建新列

文章/答案/技术大牛

发布

1回答

python、pyspark

你好，我对pyspark完全是个新手，我不知道该怎么做。我使用以下命令读取pyspark dataframe中的csv文件 spark = SparkSession.builder \1 A3 C 我还有另一个名为ids.txt的txt文件，它只是一个ids列表 1 2 我的任务是根据行中的id是否出现在ids.txt中

浏览 30提问于2021-03-20得票数 0

1回答

用复变函数更新列

json、apache-spark、dataframe、hive、pyspark

是否可以使用一个复杂的函数更新hiveContext数据列？我有一个包含许多列的dataframe，其中2列称为时间戳和数据。我需要从数据中的JSON字符串中检索时间戳，如果数据中的时间戳满足某些条件，则需要更新时间戳列。我知道该数据格式是不可变的，但是可以以某种方式构建一个新的dataframe，保留旧的dataframe的所有列，但更新时间戳列？

浏览 7提问于2016-05-10得票数 1

回答已采纳

1回答

基于其他列更新列的Pyspark行

apache-spark、pyspark

我有一个data frame在pyspark，如下所示。+---+----++---+----+| 2| Tim|| 4| sam|现在，我向df添加了一个新列null|| 3| Jim| null|+---+----+----------+ 现在，我想根据一个条件更新我试图写下面的条件

浏览 1提问于2018-05-02得票数 0

回答已采纳

2回答

Pyspark基于新条件创建新类别列

python、apache-spark、pyspark、apache-spark-sql

我根据上面的数据分享了期望的输出； Year Month Client Value Target 2019 1 1 5 3

浏览 15提问于2021-01-28得票数 0

回答已采纳

5回答

更新spark中的dataframe列

python、dataframe、apache-spark、pyspark、apache-spark-sql

查看新的spark API，还不清楚是否有可能修改DataFrame列。from pyspark.sql import functions as F df = df.withColumn('new_co

浏览 12提问于2015-03-17得票数 95

回答已采纳

1回答

将列有条件地添加到数据帧中

python、apache-spark、dataframe、pyspark、multiple-columns

我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句

浏览 6提问于2017-01-20得票数 0

回答已采纳

1回答

根据条件创建新列

r、dataframe、if-statement、recode

Spain","Spain","Germany","Germany","Germany","Germany","Germany","Germany","Germany","Germany")) 现在，我想创建一个包含德国各州信息的新专栏如果这三个变量状态中至少有一个是德国状态，则在新变量中指定它。data.frame("GE_State&quo

浏览 1提问于2021-03-31得票数 1

回答已采纳

2回答

根据条件创建新列

r、dplyr、data.table

我有下面的数据格式> df1 s123 3 s1009 s1004现在，我希望将新列创建为

浏览 0提问于2018-06-13得票数 0

回答已采纳

4回答

根据条件创建新列

python、pandas、dataframe

我有一个dataframe，需要创建一个新列，它是price和metric(在此之前计算的int)的产物。

浏览 12提问于2021-12-17得票数 4

1回答

我正在将Tableau中的一系列操作“翻译”成pyspark脚本。有一列我在复制时遇到了很大的麻烦，这里是代码的Tableu版本： min( IF[COLUMN_A] > 0 THEN [COLUMN_B] ELSE 9999= 0 THEN [COLUMN_H] ELSE 99999 END) ) 可以在pyspark中使用when和otherwise函数创建该代码的一个版本吗？我在努力，但我似乎解决不了这个问题...

浏览 19提问于2021-07-15得票数 1

回答已采纳

1回答

如何基于动态条件在PySpark中创建新列

apache-spark、pyspark

我需要在PySpark Dataframe中创建一个新列。但是，创建这个新列的条件是动态的。'update_date', ) 第二个带expr()的代码不是创建新列

浏览 7提问于2022-06-17得票数 0

回答已采纳

1回答

PySpark:基于其他列中的空值创建新列

pyspark、apache-spark-sql、etl

我正在进行一个PySpark转换，以便根据另一个列中的空值创建一个新列。下面是示例输入数据：这是预期的输出数据：

浏览 2提问于2022-09-07得票数 -2

2回答

根据变量和列条件创建变量- pyspark

python、apache-spark、pyspark

我正在尝试基于一个简单的变量ModelType和一个df变量model创建一个新变量。_veh', F.when((ModelType == 'FRSG') &(df["model"].isin(MDL_CD)), df["ford_cd"])) 但是由于变量ModelType不是一个列，

浏览 20提问于2021-03-25得票数 0

1回答

迭代Pyspark dataframe的列，并根据条件填充新列

pyspark、apache-spark-sql

我有一个需求，那就是在PySpark数据帧中有一堆电子邮件、姓名和其他客户信息。我的所有电子邮件字段都被屏蔽了，只有一个字段除外，我想在我生成的新列中获取该字段的名称。df.withColumn("is_base", F.when(df[name].like("%*%"), None).otherwise(name)) 我知道上面的代码覆盖了我正在创建的新字段

浏览 9提问于2019-11-23得票数 0

1回答

Pyspark使用一条when语句更新两列？

python、pyspark

因此，我在PySpark中使用df.Withcolumn()来创建列，并使用F.when()来指定何时应该更新该列的条件。df = df.withColumn('ab', F.when(df['text']=="0", 1).otherwise(0)) 基本上，如果符合条件，我会将列更新为“1”。现在，如果相同的条件匹配，我想要更新同一df中的另一列(例如，df['

浏览 3提问于2016-10-19得票数 0

2回答

根据多列条件创建新列

python、pandas、if-statement

我想做的是：如果df'col1‘是NaN，那么新列使用df'col2’值。如果这两列都是NaN，那么新列应该使用新字符串。

浏览 7提问于2020-06-08得票数 1

回答已采纳

1回答

Pyspark-处理异常并在pyspark数据帧中引发RuntimeError

apache-spark、pyspark、spark-dataframe、pyspark-sql、apache-spark-1.6

我有一个dataframe，我正在尝试基于现有列的值创建一个新列： F.when(dfg['list'].isin(["A","isin(["A","B","C","D",'E','F'])==False,lit('unknown category&#x

浏览 14提问于2018-02-01得票数 0

3回答

根据几个条件创建新列

r、data-manipulation、recode

我想根据施加在多个列上的一些条件创建一个新列。y=c(0,0,0,0,0), z=c(1,1,0,0,0)) x y z2 0 0 14 0 0 01 1 0 1 13 1 0 0 1 4 0

浏览 13提问于2020-12-03得票数 0

回答已采纳

1回答

星星之火:创建具有两个布尔条件的新列

apache-spark、pyspark、apache-spark-sql、pyspark-sql

我想根据两个布尔条件对我的数据进行变异，并使用按位和操作。%>% mutate(newVariable = ifelse(variable1 == "value1" & variable2 == "value2, variable3, NULL)import pyspark.sql.functions as func

浏览 0提问于2016-10-06得票数 1

回答已采纳

1回答