根据其他2列中的值向数据框中添加新列(需要Pyspark)
根据其他2列中的值向数据框中添加新列，可以使用Pyspark中的withColumn()方法来实现。该方法可以在现有数据框的基础上添加新列，并根据其他列的值进行计算或操作。
下面是一个示例代码，演示如何使用Pyspark向数据框中添加新列：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例数据框
data = [("Alice", 25, 160),
("Bob", 30, 175),
("Charlie", 35, 180)]
df = spark.createDataFrame(data, ["Name", "Age", "Height"])
# 添加新列
df_with_new_column = df.withColumn("Age_plus_Height", col("Age") + col("Height"))
# 显示结果
df_with_new_column.show()运行以上代码，将会输出如下结果：
+-------+---+------+----------------+
| Name|Age|Height|Age_plus_Height |
+-------+---+------+----------------+
| Alice| 25| 160| 185|
| Bob| 30| 175| 205|
|Charlie| 35| 180| 215|
+-------+---+------+----------------+在这个示例中，我们创建了一个包含姓名、年龄和身高的数据框。然后使用withColumn()方法，根据"Age"和"Height"列的值计算出新的列"Age_plus_Height"，表示年龄和身高的总和。最后，我们显示了添加了新列的数据框。
需要注意的是，withColumn()方法返回一个新的数据框，原始数据框并没有被修改。如果需要在原始数据框上进行修改，可以使用df = df.withColumn(...)来重新赋值。
对于Pyspark的更多详细信息和使用方法，可以参考腾讯云的相关产品和文档：
相关·内容
我想根据“joint_pred_x”和"svm_pred_x“中的两个值添加一个名为"nb_pred_x”(x=0，1，2)的列，如果是nb=1，则添加0；如果是nb=1，则添加1；如果是nb=0，则添加2；如果是nb=0，则添加3；如果是svm=0，则添加3。该解决方案只需要是pyspark，提前感谢
浏览 10提问于2020-08-06得票数 1
2回答
从列表中添加列的pySpark
、、、、
我有一个数据文件名，并希望根据列表中的值向它添加列。
我的值列表将从3-50个值变化。我是pySpark新手，我试图将这些值作为新列(空)附加到我的df中。我看到了关于如何将一列添加到dataframe中的推荐代码，而不是
浏览 2提问于2020-05-12得票数 1
回答已采纳
3回答
我读了很多关于这方面的问题，但我不知道如何将这些解决方案应用到我自己的问题中。我认为我必须使用df.apply或df.assign，但我不明白即使在阅读了文档之后 这是我的数据： d = {'switchopen': [True, True, False, False, False, False, False, False]}
df = pd.DataFrame(data=d) 当switchopen == True & switchclose == False打开时它是打开的当switcho
浏览 5提问于2019-01-17得票数 1
回答已采纳
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。如果我们可以将数据帧分配给另一个数据帧，我们就可以看到结果test.show()
有没有办法向现有的dataframe
浏览 4提问于2021-01-26得票数 0
1回答
我有一个如下的数据框架： 'POS':[939570,3411794,1043223,22511093,2445403122511093 CTT CT 3 2
4 chr1 24454031 CT CTT 2
浏览 3提问于2021-04-10得票数 1
1回答
我有两个数据帧： DF1(我刚刚重新采样)： Mi_pollution.head():
0 10273Milano - P.zza Zavattari 45.476089 9.143509 Benzene µg/m YYYY/MM/DD HH24:MI 我要做的是，根据污染物创建新的列，并将它们添加到DF
浏览 19提问于2019-03-22得票数 0
回答已采纳
如果我已经存在数据帧，且我想要向数据框中添加新列sqlContext = SQLContext(sc)row_rdd2 = rdd2.map(lambda x: Row(x))
test_df2 = test_df.withColumn("rating", row_rdd
浏览 0提问于2020-10-05得票数 1
df.show()| id|name|| 1| sam|| 3| Jim|+---+----+from pyspark.sql.functions import litnew_df =new_column中的值。
浏览 1提问于2018-05-02得票数 0
回答已采纳
1回答
我正在尝试从Apache中的另一列中创建一个新列。这些数据(大量缩写)看上去像2018-05-26T00:00:00.000+0000 52018-05-05T00:00:00.000+0000 6 Friday
我尝试过 & & 手册中
浏览 0提问于2018-10-26得票数 0
回答已采纳
2回答
我有一个类似于下面的数据帧： A B CGCSE no GQNVQyes VQ 我需要根据B列和C列的值添加第四列。有四种可能的结果: EPS、HCI、CAMS、DIGI。它们需要如下所示： B C Dno GQ
浏览 29提问于2020-08-05得票数 1
回答已采纳
我有两个名为“用户”的数据集，每个数据集都有数千个数据集。两者都有一个名为ID的特性。users = data.frame("ID" = c(23432,75645,54656
浏览 7提问于2020-04-27得票数 3
回答已采纳
1回答
如何向数据库表中添加确切的日期和时间，从而向该表中添加新记录 在列表中，to value需要在查询输出中为两列。位置1中的值是显示值(在使用它的选择对话框中显示的值)。和返回值(实际作为
浏览 15提问于2019-09-02得票数 0
我在亚马逊网络服务上的电子病历集群上使用pySpark V2，并尝试将数据框列传递给函数并操作列中的各个项mylist = [x for x in range(0, 10)]| 0|| 2|| 4|| 6|| 8|+-----+
我希望有一个函数对数据列的第5行<e
浏览 0提问于2020-02-14得票数 0
1回答
我有一个数据库，可以让你拥有蜥蜴或蛇。当然，一个人可以拥有许多蜥蜴和/或蛇。“宠物”字段是一个下拉列表，允许您为每只宠物选择一只蜥蜴或一条蛇，但购买每种宠物的费用(有自己的字段)是不同的。
浏览 5提问于2016-11-12得票数 0
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
我有一个pyspark数据帧 +----------+----------+---------------------+ +--------- +----------+---------------------+ 现在，我必须根据前一行中的值向ReadDateTime列
浏览 34提问于2019-12-13得票数 0
回答已采纳
我正在使用Pyspark，并试图弄清楚如何使用以前的列进行复杂的计算。我认为通常有两种方法对以前的列进行计算: Windows和mapwithPartition。我认为我的问题太复杂了，不能通过windows解决，而且我希望结果是单独的行，而不是列。所以我尝试使用mapwithpartition分区。我对这个的语法有点问题。例如，以下是代码的粗略草稿。prev_rows[0])
yield
浏览 0提问于2017-10-19得票数 0
我有一个有7列的pyspark数据框，我必须添加一个名为" sum“的新列，并计算在sum列中包含数据(非null)的列的数量。
浏览 8提问于2020-01-19得票数 1
回答已采纳
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。df.ix[x,y] = new_value
编辑：合并下面所说的内容，您不能修改现有的数据格式，因为它是不可变的，但是您可以返回一个新的数据格式，并进行所需的</em
浏览 12提问于2015-03-17得票数 95
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
