Pyspark SQL:如何创建一个由column的值加上另一个列名组成的新值？
Pyspark是一个用于大数据处理的Python库，可以与Apache Spark集成。Pyspark SQL是Pyspark中用于处理结构化数据的模块。在Pyspark SQL中，可以使用列的值与另一个列名组成新值的方式进行操作。
要创建一个由column的值加上另一个列名组成的新值，可以使用withColumn()方法。该方法接受两个参数，第一个参数是新列的名称，第二个参数是一个表达式，用于计算新列的值。
以下是一个示例代码：
from pyspark.sql import SparkSession
from pyspark.sql.functions import concat, col
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建一个DataFrame
data = [(1, "Alice", 25), (2, "Bob", 30), (3, "Charlie", 35)]
df = spark.createDataFrame(data, ["id", "name", "age"])
# 使用withColumn()方法创建新列
df_new = df.withColumn("new_value", concat(col("name"), col("age")))
# 显示结果
df_new.show()运行以上代码，将会得到一个包含新列的DataFrame。新列的值由"name"列的值和"age"列的列名组成。
Pyspark SQL的优势在于其与Spark的集成，可以处理大规模数据集，并且具有良好的可扩展性和性能。它提供了丰富的函数和操作符，可用于对数据进行转换、聚合和分析。
对于Pyspark SQL的更多学习和了解，可以参考腾讯云的相关产品和文档：
相关·内容
我正在尝试获取一个新值，该值来自column的值加上另一个列名。
浏览 17提问于2019-10-16得票数 0
回答已采纳
我在spark中有一个数据帧，大概是这样的：------ | ----2 | SOMEOTHERCHARACTERS3 | ANOTHERSTRING我想要做的是从列中提取前5个字符加上第8个字符，并创建一个新列，如下所示：
ID | New Column------ |
浏览 0提问于2016-12-02得票数 13
回答已采纳
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。df.ix[x,y] = new_value
编辑：合并下面所说的内容，您不能修改现有的数据格式，因为它是不可变的，但是您可以返回一个新的数据格式，并进行所需的修改。如果只想根据条件替换列中的值，如np.wher
浏览 12提问于2015-03-17得票数 95
回答已采纳
1回答
因此，我在代码中使用了以下MySQL查询： Dim sqlQueryString As String = "SELECT * FROMfoo WHERE " & column_name & " IS NULL;"
假设我的SQL表由两列组成: column_A和column_B。我想传入“SQL”或&quo
浏览 2提问于2014-09-16得票数 0
1回答
我有一个Spark df，它只有一个列名为“我的列名”。它是通过读取一个拼花文件来创建的。编辑拼花文件是通过读取名为test.csv的CSV文件创建的，该文件包含以下内容：test1然后用熊猫test.parquet (“test.parquet: string (nullable = true)
我使用应用于df的w
浏览 8提问于2022-05-18得票数 1
1回答
OrderBy列列表
、、、、
在编写csv之前，我尝试在中使用OrderBy函数，但如果我有一个列列表，则不确定是否使用OrderBy函数。
浏览 1提问于2018-06-10得票数 14
回答已采纳
我的表上有记录，我必须更新可用的records.if记录，然后添加数据库中已经存在的相同值。
浏览 9提问于2017-01-02得票数 1
回答已采纳
我使用sqoop创建和导入hive表，并使用pyspark获取数据。该表由一个字符串字段、一个整型字段和多个浮点型字段组成。我可以通过hue hive sql查询获得整个数据。但是，当我使用pyspark sql编程时，可以显示非浮点型字段，而浮点型字段总是显示空值。色调配置单元sql结果：
zeppelin pyspark输出：
hive表的详细信息
浏览 18提问于2017-06-29得票数 0
当在循环中重复相同的数据时，就会发生堆栈溢出错误。数据量仅为40k记录。在单节点14 is /28 is时，尝试使用集群大小。
浏览 8提问于2022-06-07得票数 0
首先，我不是一个SQL家伙，所以我想要实现以下功能，这对于SQL家伙来说可能很容易实现。实际上，我们希望跟踪每个记录，跟踪另一个History表中表中的每一个条目，其中列名为更新数据，更新列的值为“旧值”和“新值”。例如，如果我们更新Column1值的Table1，那么在历史表中，我们必须插入Column1<e
浏览 1提问于2015-11-04得票数 1
回答已采纳
1回答
假设我有一个非常基本的火花DataFrame，它由几个列组成，其中一个列包含我想要修改的值。|| value || lang ||| 4 | ua |
比方说，我希望为每个特定的类添加一个新列，其中我将向给定的值添加一个浮点数(这与最后一个问题没有多大关系，但实际上我在那里用sk
浏览 1提问于2018-04-10得票数 0
回答已采纳
我有一个data frame在pyspark，如下所示。，如下所示from pyspark.sql.types import StringType+---+----+----------+
现在，我想根据一个条件更新new_column中的值。else
浏览 1提问于2018-05-02得票数 0
回答已采纳
1回答
这意味着虽然它是动态的，但我已经知道在哪里插入它，以及它的列是什么。所以，是的，这就是我问题的背景故事。这就是它现在的样子。注意get变量，这是我生成sql查询的方式。
下面是执行SQL语句：
看到动态部分了吗？无论如何，问题是插入脚本变量
浏览 1提问于2015-04-21得票数 1
2回答
我正在构建一个由以下业务逻辑组成的发票应用程序。b)下订单后，可以生成新的估计值。订单只有一个估计数。c)与订单的估计有关的。可以生成发票。发票符合价格折扣的条件。除项目细节外，由某些expenses.an
浏览 2提问于2012-04-28得票数 3
我有一个大数据与天气列，可以采取5个不同的数值(晴天，多云，雨，雪和其他)。我必须添加另一列，更多的信息，完全取决于天气值(例如。如果是晴天，将值x添加到新列，如果是阴天，则添加值y，.)。要么使用另一个具有天气列(此列上的join )和一个"new_data“列来添加这些新值(5行和2列)的小数据行进行连接，要么使用一个字典将数据的每
浏览 2提问于2021-05-26得票数 2
回答已采纳
5回答
我有一个模式的数据框架(business_df)：|-- categories: array (nullable =string (nullable = true)|-- name: string (nullable = true)
我希望创建一个新的数据框架(new_df)，以便'name'列中的</
浏览 10提问于2016-02-21得票数 9
回答已采纳
我有一个概念，我希望你能帮助澄清：
以下三种引用PySpark数据格式中列的方法有什么区别。我知道不同的情况需要不同的形式，但不知道为什么。
浏览 2提问于2019-03-11得票数 23
回答已采纳
表中有一个varchar列，需要升级到enum类型。 ALTER COLUMN varcharColumn TYPE enum_type周遭的方法是
创建另一个具有枚举
浏览 4提问于2013-03-27得票数 30
回答已采纳
1回答
我需要连接列值，其中列名作为字符串传递。我有一个客户，他有一个设计很差的MySql表，如下所示：| id | column_index | c1 | c2|c50|
column_index字段是由c1、c5、c11等列名组成的逗号分隔字符串，我想要做的是编写一个select
浏览 34提问于2017-03-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
