如何在Pyspark中根据另一列的值选择另一列？
在Pyspark中，可以使用条件表达式和列选择操作来根据另一列的值选择另一列。以下是一个完善且全面的答案：
在Pyspark中，可以使用when和otherwise函数来实现根据另一列的值选择另一列的操作。具体步骤如下：
- 导入必要的模块和函数：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col, when- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 创建一个示例数据集：
data = [("Alice", 25, "F"), ("Bob", 30, "M"), ("Charlie", 35, "M")]
df = spark.createDataFrame(data, ["name", "age", "gender"])
df.show()输出结果：
+-------+---+------+
| name|age|gender|
+-------+---+------+
| Alice| 25| F|
| Bob| 30| M|
|Charlie| 35| M|
+-------+---+------+- 使用条件表达式和列选择操作来选择另一列：
df.select("name", "age", "gender", when(col("gender") == "M", col("age")).otherwise(None).alias("selected_age")).show()输出结果：
+-------+---+------+------------+
| name|age|gender|selected_age|
+-------+---+------+------------+
| Alice| 25| F| null|
| Bob| 30| M| 30|
|Charlie| 35| M| 35|
+-------+---+------+------------+在上述代码中，我们使用when函数来判断gender列的值是否为"M"，如果是，则选择age列的值，否则选择None。最后使用alias函数给新列命名为"selected_age"。
这样，我们就根据另一列的值选择了另一列，并将结果显示出来。
推荐的腾讯云相关产品：腾讯云分析型数据库TDSQL、腾讯云数据仓库CDW、腾讯云弹性MapReduceEMR、腾讯云云服务器CVM等。你可以通过访问腾讯云官方网站获取更多关于这些产品的详细信息和介绍。
腾讯云产品介绍链接地址：
相关·内容
我有一个数据帧，其中的一些列special_column包含像one，two这样的值。我的数据帧也有列one_processed和two_processed。我想添加一个新的列my_new_column，它的值是根据来自special_column的处理值从我的dataframe中的其他列<e
浏览 24提问于2020-02-21得票数 0
我正在进行一个PySpark转换，以便根据另一个列中的空值创建一个新列。下面是示例输入数据：
这是预期的输出数据：
浏览 2提问于2022-09-07得票数 -2
我非常绿色的火花，所以我把它转换成一个熊猫DataFrame，然后使用地图功能，我提取所需的元素。问题是，数据是巨大的，因此这种方法是不可扩展的。让我花时间的是toPandas()命令。是否有从每一行访问列表中的值的选项？
谢谢!
浏览 5提问于2021-12-09得票数 1
回答已采纳
3回答
我有一个PySpark数据格式，我想根据某些列中的唯一值进行筛选。from pyspark.sql import SparkSession
# Operation I want to replicate in
浏览 15提问于2022-07-13得票数 1
2回答
最近我遇到了一个问题，在这个问题中，我需要按照我在PowerBi报告中定义的方式显示列顺序。问题是，PowerBI以升序(A->Z)或降序(Z->A)对列进行排序，那么如果一个人必须应用他的自定义顺序，他应该如何实现？下面是一个示例
1.2轮子预览--> 1.2 GTR --> 1.2 U
浏览 1提问于2016-07-04得票数 8
回答已采纳
我有一张带有A、B和C列的HIVE/PySpark的桌子。我想为每一列获得唯一的值，如任何格式(数据、表格等)
如何在或PySpark中高效地执行这个(与每个列并行)？我现在的方法是分别为每一列做这件事，因此花费了很多时间。
浏览 0提问于2018-07-18得票数 0
回答已采纳
我想遍历pyspark dataframe中的每一行，并根据另一列的内容更改列的值。我要将其更改为的值也基于要更改的列的当前值。具体地说，我有一列包含DenseVectors，另一列包含我需要的向量的索引。 或者，我也可以用DenseVec
浏览 11提问于2019-04-25得票数 2
回答已采纳
1回答
我有一个简单的包，可以将数据从源移动到目标，但是我想在运行时添加新列。示例源表包含a、b和c列。我在包的开头有一个SQL任务，它根据另一个表中的值创建一个新列，如a +'_'+ b。我的问题是如何在运行时将这些列添加到包的源代码中。
浏览 1提问于2015-02-18得票数 0
我正在对pyspark dataframe列进行AES加密。我正在迭代列数据，并使用df.withcolumn将列值替换为加密值，但速度太慢 我正在寻找另一种方法，但我没有得到任何方法 ''' obj= AES.new你能推荐另一种选择吗？
浏览 27提问于2019-08-28得票数 0
给定在PySpark中指定用户定义函数的可用方法：
如何才能在dataframe上创建和运行一个用户定义的函数，该函数无需创建一个新列就不返回任何内容？例如:假设您希望并行地将一个dataframe列加载到某个外部持久性存储中。也就是说，不要将整个数据写入HDFS，而是使用一个字段作为键，另一个字段作为将逐行传输到blob存储(如</e
浏览 0提问于2019-01-17得票数 0
我试图根据pyspark数据格式中的ID列对列进行分组，并根据另一列的值对列进行求和。a| 20|| 3| null| 230|我想要的输出是| 3| 230| 0| 0|
+--
浏览 1提问于2019-06-13得票数 0
回答已采纳
1回答
我有一个这样的表结构：--------------+----------COLUMN_NAME_B | VALUE_2
FIELD列的值是另一个表中的列的名称。我需要以某种方式从这个表中选择存在于另一个表中列出的列中的</em
浏览 0提问于2017-04-15得票数 0
我想要创建一个函数，该函数从PySpark中的左联接创建一个新列，详细说明一个列中的值是否匹配或不匹配另一个dataframe逐行的列。例如，我们有一个PySpark dataframe (d1)具有列ID和名称，另一个PySpark dataframe (d2)具有相同的列- ID和Name
浏览 3提问于2021-12-11得票数 0
1回答
我从一个数据回购中获得了一个数据文件，它有一些基于日期的特性，例如The types of all these are Integer
浏览 1提问于2020-04-02得票数 0
1回答
我想根据计算结果对一列中的值进行求和。
例如，日期放在列A中。首先，我想从静态日期中减去A列中的值。然后，根据结果(如小于31，在31和91之间，大于91)，我想在另一列中求和。
浏览 1提问于2015-06-23得票数 0
我希望根据另一个单元格中的值来改变单元格中的颜色。复杂的是，我需要首先匹配两个单元格中的值，然后选择它旁边的值，然后根据这个值应用条件格式。参考下面的图像: Ex1:在A列中查找E2，然后在C列中选择相关的值</e
浏览 1提问于2022-03-16得票数 0
我有一个pyspark dataframe A，它有3列：-69 40 trp我有另一个pyspark dataframe B，它具有相同的列，但捕获的值将不同：-68 43 trp我希望根据dataframe B中匹配的邮政编码为A的每个记录创建纬度经度对。因此，输出RDD
浏览 2提问于2017-11-16得票数 0
1回答
在SQL中，我们可以根据表B中的列从表A中选择条目。如下所示：WHERE NAME in (SELECT NAME FROM TABLE B)
如何在不使用sql上下文的情况下在pyspark中复制这段代码
浏览 0提问于2020-10-12得票数 1
从excel表格中获取每个'AccountID: AB89561‘及其'Category’和'Price of‘列值的最有效方法是什么，稍后我可以根据'Price of’日期和'Category‘将其粘贴到html表中，例如，我想获取这些信息，然后粘贴到html表中： ? 然后，我想转到工作表'Price of 10/2019‘的另一列，获取值(
浏览 57提问于2020-11-24得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
