Pyspark，如何添加新的现有列
Pyspark是一种基于Python的Spark编程接口，用于在大数据处理中进行分布式计算。在Pyspark中，要添加新的现有列，可以使用DataFrame的withColumn()方法。
withColumn()方法用于添加一个新列或替换现有列，并返回一个新的DataFrame。它接受两个参数，第一个参数是要添加或替换的列名，第二个参数是一个表达式，用于计算新列的值。
下面是一个示例代码，演示如何使用Pyspark的withColumn()方法添加新的现有列：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建示例DataFrame
data = [("John", 25), ("Alice", 30), ("Bob", 35)]
df = spark.createDataFrame(data, ["Name", "Age"])
# 添加新的现有列
df_with_new_column = df.withColumn("NewColumn", col("Age") + 1)
# 显示结果
df_with_new_column.show()在上述代码中，我们首先导入了必要的模块，然后创建了一个SparkSession对象。接下来，我们创建了一个示例的DataFrame，其中包含名字和年龄两列。然后，我们使用withColumn()方法添加了一个名为"NewColumn"的新列，该列的值是"Age"列的值加1。最后，我们使用show()方法显示了添加新列后的DataFrame。
这是一个简单的示例，展示了如何使用Pyspark的withColumn()方法添加新的现有列。根据具体的需求，你可以使用不同的表达式来计算新列的值，以满足不同的业务逻辑。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
相关·内容
1回答
如何在条件下在火花放电上创建新列？
python、python-3.x、apache-spark、pyspark、apache-spark-sql
我有下面的data.frame ( spark )
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
sc = spark.sparkContext
from pyspark.sql import functions as sf
from pyspark.sql.functions import col, when, lit
ddf = spark.createDataFrame([[None, 'Mic
浏览 2提问于2018-05-28得票数 2
回答已采纳
3回答
向PySpark数据帧中添加组计数列
apache-spark、pyspark、dplyr
我来自R和到PySpark，因为它的出色的火花处理，我正在努力从一个上下文映射到另一个特定的概念。
尤其是，假设我拥有如下数据集
x | y
--+--
a | 5
a | 8
a | 7
b | 1
我希望添加一个列，其中包含每个x值的行数，如下所示：
x | y | n
--+---+---
a | 5 | 3
a | 8 | 3
a | 7 | 3
b | 1 | 1
在dplyr中，我只想说：
import(tidyverse)
df <- read_csv("...")
df %>%
group_by(x) %>%
mutate(n
浏览 0提问于2018-02-14得票数 37
回答已采纳
1回答
PySpark DataFrame中行及其前导3行之间的差异
python、dataframe、pyspark、aggregation、shift
我有一个CSV文件，它已经通过以下代码作为dataframe导入： from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.read.csv("name of file.csv", inferSchema = True, header = True)
df.show() 输出 +-----+------+-----+
|col1 | col2 | col3|
+-----+------+-----+
| A
浏览 14提问于2019-01-14得票数 1
回答已采纳
2回答
如何删除PySpark中少于三个字母的单词？
apache-spark、pyspark
我有一个“text”列，其中存储令牌数组。如何过滤所有这些数组，使令牌至少有三个字母长？
from pyspark.sql.functions import regexp_replace, col
from pyspark.sql.session import SparkSession
spark = SparkSession.builder.getOrCreate()
columns = ['id', 'text']
vals = [
(1, ['I', 'am', 'good']),
(2,
浏览 0提问于2018-11-26得票数 2
回答已采纳
10回答
如何将新列添加到星火DataFrame (使用PySpark)？
python、apache-spark、dataframe、pyspark、apache-spark-sql
我有一个火花DataFrame (使用PySpark 1.5.1)，并希望添加一个新的列。
我尝试过以下几种方法，但都没有成功：
type(randomed_hours) # => list
# Create in Python and transform to RDD
new_col = pd.DataFrame(randomed_hours, columns=['new_col'])
spark_new_col = sqlContext.createDataFrame(new_col)
my_df_spark.withColumn("hours"
浏览 13提问于2015-11-12得票数 179
回答已采纳
3回答
在从其他列派生的数据框中添加新列(Spark)
python、apache-spark、apache-spark-sql、pyspark
我使用的是Spark 1.3.0和Python。我有一个dataframe，我希望添加一个从其他列派生的附加列。像这样，
>>old_df.columns
[col_1, col_2, ..., col_m]
>>new_df.columns
[col_1, col_2, ..., col_m, col_n]
哪里
col_n = col_3 - col_4
我如何在PySpark中做到这一点？
浏览 2提问于2015-07-10得票数 40
回答已采纳
1回答
如何将numpy数组存储为PySpark DataFrame中的新列？
numpy、apache-spark、pyspark、apache-spark-sql、numpy-ndarray
我已经从np.select获得了一个numpy数组，我希望将其存储为PySpark DataFrame中的一个新列。我怎么能这么做？
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
pdf = pd.DataFrame({'a': [1,2,3], 'b': ['abc', 'cde', 'edf']})
df_data = spark.createDataFrame(pdf, schema='
浏览 6提问于2022-05-25得票数 1
1回答
如何将列添加到PySpark数据column中，该数据column中包含另一列的第9分位数
apache-spark、pyspark、apache-spark-sql、quantile、percentile
我有一个非常大的CSV文件，它已经作为一个PySpark数据文件导入：df。dataframe包含许多列，包括列ireturn。我想要计算该列的0.99和0.01百分位数，然后将另一列添加到dataframe df中，作为new_col_99和new_col_01，它们分别包含0.99和0.01百分位数。我编写了下面的代码，它适用于小数据格式，但是当我将它应用到我的大型数据文件时会出现错误。
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.read.csv(&#
浏览 0提问于2019-01-15得票数 3
1回答
在Spark dataframe中添加可空列
python、apache-spark、pyspark、apache-spark-sql、nullable
在星火中，文字列在添加时是不可空的：
from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([(1,)], ['c1'])
df = df.withColumn('c2', F.lit('a'))
df.printSchema()
# root
# |-- c1: long (nullable = true)
# |-- c2: string
浏览 3提问于2021-07-29得票数 4
回答已采纳
2回答
如何键入星火DataFrame列？使用火花放电
apache-spark、pyspark
我以以下方式创建了一个DataFrame：
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.getOrCreate()
df = spark.read.csv("train.csv", header=True)
我的DataFrame的架构如下：
root
|-- PassengerId: string (nullable = true)
|-- S
浏览 3提问于2018-10-18得票数 0
回答已采纳
2回答
使用StructType为Pyspark.sql设置架构时的语法
apache-spark、pyspark
我是spark的新手，一直在玩Pyspark.sql。根据pyspark.sql documentation ，可以像这样设置Spark数据框架和模式：
spark= SparkSession.builder.getOrCreate()
from pyspark.sql.types import StringType, IntegerType,
StructType, StructField
rdd = sc.textFile('./some csv_to_play_around.csv'
schema = StructType([StructField('Nam
浏览 0提问于2015-05-13得票数 29
回答已采纳
1回答
PySpark:如何创建包含日期范围的DataFrame
python、dataframe、date、pyspark、apache-spark-sql
我正在尝试创建一个包含日期范围的单一列的PySpark数据框架，但是我一直收到这个错误。我也尝试将它转换为int，但我不确定您是否应该这样做。
# Gets an existing SparkSession or, if there is no existing one, creates a new one
spark = SparkSession.builder.appName('pyspark-shellTest2').getOrCreate()
from pyspark.sql.functions import col, to_date, asc
from pyspar
浏览 20提问于2022-12-02得票数 0
1回答
对于不带参数的函数，Pyspark失败，但对于不带参数的lambda则有效。
apache-spark、pyspark、apache-spark-sql、user-defined-functions、pyspark-sql
我试图使用不带参数的DataFrame和udf将一列添加到我的星火withColumn中。这似乎只有当我使用lambda封装我的原始函数时才有效。
这是一辆MWE：
from pyspark.sql import Row, SparkSession
from pyspark.sql.functions import udf
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([Row(number=i) for i in range(10)])
def foo():
return 'ba
浏览 0提问于2019-04-23得票数 2
回答已采纳
1回答
如何除以星火DataFrame中列的和
apache-spark、pyspark、apache-spark-sql
如何在不立即触发计算的情况下，高效地将列除以其在星火DataFrame中的自身和？
假设我们有一些数据：
import pyspark
from pyspark.sql import SparkSession, Window
import pyspark.sql.functions as spf
spark = SparkSession.builder.master('local').getOrCreate()
data = spark.range(0, 100)
data # --> DataFrame[id: bigint]
我想在这个数据框架上创建一个名为“规
浏览 0提问于2018-01-31得票数 2
回答已采纳
2回答
如果组中存在非空项，如何删除重复项和空项？
dataframe、pyspark、filter、group-by
下面的DataFrame应该根据标志列进行过滤。如果基于列id和cod的组没有任何与None值不同的行，则只需要维护一个唯一的行，否则，必须删除列标志<code>E 211</code>中的None值行。
import pyspark
from pyspark.sql import SparkSession
from pyspark.sql.window import Window
from pyspark.sql.functions import col, row_number,max
spark = SparkSession.builder.appName(
浏览 3提问于2022-06-30得票数 0
2回答
如何爆炸多个柱，不同类型，不同长度？
python、pyspark
我得到了一个具有不同时间周期(1/6、3/6、6/6等)列的DF。并希望“爆炸”所有的列，以创建一个新的DF，其中每一行是一个1/6的循环。
from pyspark import Row
from pyspark.sql import SparkSession
from pyspark.sql.functions import explode, arrays_zip, col
spark = SparkSession.builder \
.appName('DataFrame') \
.master('local[*]') \
.
浏览 1提问于2019-07-08得票数 6
回答已采纳
1回答
如何转换pyspark dataframe列的值？
python、sql、apache-spark、pyspark、data-science
我在pyspark数据框中有一列表示电子设备的年龄，这些值是以毫秒为单位给出的。有没有一种简单的方法将该列的值转换为年份？我不是很精通Spark。
编辑:我知道你可以很容易地用基本的数学将毫秒转换为年，我正在尝试获取pyspark数据帧的一列，并迭代它，并将所有列值转换为不同的值。有没有一个特定的pyspark函数可以让这一切变得更容易？我有一个列，其中所有的值都是以毫秒为单位的非常大的整数，我试图根据设备的寿命过滤掉太小或太大而没有意义的值。
table.filter(F.col("age")>0).filter(F.col("age")<year
浏览 17提问于2021-05-20得票数 1
1回答
更新Pyspark中映射类型列的结构化值
python、dataframe、apache-spark、pyspark、apache-spark-sql
我试图修改Map类型的Dataframe列，其值依次为Struct类型：
root
|-- name: string (nullable = true)
|-- age: long (nullable = true)
|-- MapName: map (nullable = true)
| |-- key: string
| |-- value: struct (valueContainsNull = true)
| | |-- field1: double (nullable = true)
| | |-- field2: double (n
浏览 3提问于2021-01-04得票数 3
回答已采纳
1回答
有效地扩展行数组以分隔列
apache-spark、pyspark、spark-dataframe、user-defined-functions
我有一个火花数据，它的字段之一是一个行结构数组。我需要把它扩展到他们自己的专栏。问题之一是数组中，有时缺少一个字段。
以下是一个例子：
from pyspark.sql import SparkSession
from pyspark.sql.types import *
from pyspark.sql import Row
from pyspark.sql import functions as udf
spark = SparkSession.builder.getOrCreate()
# data
rows = [{'status':'active'
浏览 1提问于2018-03-12得票数 2
回答已采纳
3回答
在PySpark isin中包含null
python、apache-spark、pyspark、apache-spark-sql、isin
这是我的数据
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
spark = SparkSession.builder.getOrCreate()
dCols = ['c1', 'c2']
dData = [('a', 'b'),
('c', 'd'),
('e', None)]
df = spark.createDataFra
浏览 2提问于2021-02-15得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
