如何在pyspark中将一个列值赋值为列值和常量的加法？
在pyspark中，可以使用withColumn方法来将一个列值赋值为列值和常量的加法。具体步骤如下：
- 导入必要的模块：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col- 创建SparkSession对象：
spark = SparkSession.builder.getOrCreate()- 加载数据并创建DataFrame：
data = [(1, 2), (3, 4), (5, 6)]
df = spark.createDataFrame(data, ["col1", "col2"])- 使用
withColumn方法将列值赋值为列值和常量的加法：
df = df.withColumn("new_col", col("col1") + 10)在上述代码中，col("col1")表示获取"col1"列的值，10表示常量。通过将它们相加，可以创建一个新的列"new_col"，其中每个元素都是"col1"列的值加上常量10。
完整代码示例：
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
spark = SparkSession.builder.getOrCreate()
data = [(1, 2), (3, 4), (5, 6)]
df = spark.createDataFrame(data, ["col1", "col2"])
df = df.withColumn("new_col", col("col1") + 10)
df.show()输出结果：
+----+----+-------+
|col1|col2|new_col|
+----+----+-------+
| 1| 2| 11|
| 3| 4| 13|
| 5| 6| 15|
+----+----+-------+推荐的腾讯云相关产品：腾讯云分析型数据库TDSQL、腾讯云数据仓库CDW、腾讯云弹性MapReduce EMR。
腾讯云产品介绍链接地址：
相关·内容
3回答
在从其他列派生的数据框中添加新列(Spark)
python、apache-spark、apache-spark-sql、pyspark
我使用的是Spark 1.3.0和Python。我有一个dataframe，我希望添加一个从其他列派生的附加列。像这样，
>>old_df.columns
[col_1, col_2, ..., col_m]
>>new_df.columns
[col_1, col_2, ..., col_m, col_n]
哪里
col_n = col_3 - col_4
我如何在PySpark中做到这一点？
浏览 2提问于2015-07-10得票数 40
回答已采纳
1回答
PySpark DataFrame中行及其前导3行之间的差异
python、dataframe、pyspark、aggregation、shift
我有一个CSV文件，它已经通过以下代码作为dataframe导入： from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.read.csv("name of file.csv", inferSchema = True, header = True)
df.show() 输出 +-----+------+-----+
|col1 | col2 | col3|
+-----+------+-----+
| A
浏览 14提问于2019-01-14得票数 1
回答已采纳
3回答
如何将DataFrame中的字符串列拆分为多个列？
pyspark
这是当前的代码：
from pyspark.sql import SparkSession
park_session = SparkSession\
.builder\
.appName("test")\
.getOrCreate()
lines = spark_session\
.readStream\
.format("socket")\
.option("host", "127.0.0.1")\
.option("port", 9998)\
浏览 0提问于2020-04-20得票数 3
回答已采纳
2回答
向PySpark数组中添加None
arrays、apache-spark、pyspark、apache-spark-sql、nonetype
我希望创建一个基于现有列有条件填充的数组，有时我希望它包含None。下面是一些示例代码：
from pyspark.sql import Row
from pyspark.sql import SparkSession
from pyspark.sql.functions import when, array, lit
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([
Row(ID=1),
Row(ID=2),
Row(ID=2),
Row(ID=1)
])
浏览 4提问于2022-07-01得票数 1
回答已采纳
1回答
火花放电中两个列表列的差异
pyspark、apache-spark-sql、pyspark-sql
我有一个有两个列的数据框架，它们是列表类型的。我试着把第三列作为一个列表，给出这两列的区别。
例：
假设下面的数据with有2列：
+--------------+------------+
| col1| col2|
+--------------+------------+
|[10, 20,30,40]| [10, 20]|
+--------------+------------+
我试图获得第三列，它的值是一个列表，它包含col1中不存在于col2中的元素。因此，我的结果数据框架如下：
+--------------+------------+-
浏览 3提问于2019-10-02得票数 1
3回答
在PySpark isin中包含null
python、apache-spark、pyspark、apache-spark-sql、isin
这是我的数据
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
spark = SparkSession.builder.getOrCreate()
dCols = ['c1', 'c2']
dData = [('a', 'b'),
('c', 'd'),
('e', None)]
df = spark.createDataFra
浏览 2提问于2021-02-15得票数 2
回答已采纳
2回答
PySpark -收集和CrossJoin，选择创建一个最大的列？
python、dataframe、apache-spark、pyspark、collect
火花大师！
有没有人有更好或更快的技巧来创建另一列的最大数量的列。
备选案文A：
max_num = df.agg({"number": "max"}).collect()[0][0]
df = df.withColumn("max", f.lit(max_num))
备选方案B：
max_num = df2.select(f.max(f.col("number")).alias("max"))
df2 = df2.crossJoin(max_num)
请随意，添加任何其他评论，即使不是直接相关，更多的是为了学习的
浏览 11提问于2022-11-17得票数 1
3回答
将列表列表作为列附加到PySpark的dataframe (连接两个没有公共列的dataframe)
python、dataframe、pyspark
我在Pyspark中有一些数据框架：
from pyspark.sql import SQLContext, SparkSession
spark = SparkSession.builder.getOrCreate()
sqlcontext = SQLContext(spark)
df = sqlcontext.createDataFrame([['a'],['b'],['c'],['d'],['e']], ['id'])
df.show()
+---+
| id|
+---+
| a|
|
浏览 18提问于2019-11-05得票数 0
回答已采纳
2回答
如何强制PySpark四舍五入使用银行家四舍五入
python、pyspark、rounding
我需要使用银行家的四舍五入( 0.5四舍五入到最近的偶数)在PySpark中舍入一列。
到目前为止，我尝试过这样的方法：
from pyspark.sql.functions round as _round
df = df.withColumn(new_name, col(old_name) * col('ExchangeRate'))
df = df.select("*", _round(col(new_name)))
即使我在Python 3+中运行这个函数，PySpark的舍入函数仍然会应用HALF_UP舍入方法。我不能使用Python的循环
浏览 7提问于2022-07-08得票数 2
回答已采纳
1回答
在Spark dataframe中添加可空列
python、apache-spark、pyspark、apache-spark-sql、nullable
在星火中，文字列在添加时是不可空的：
from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame([(1,)], ['c1'])
df = df.withColumn('c2', F.lit('a'))
df.printSchema()
# root
# |-- c1: long (nullable = true)
# |-- c2: string
浏览 3提问于2021-07-29得票数 4
回答已采纳
2回答
如何将List[String]值添加到数据帧中的单个列
scala、apache-spark
我有一个dataframe，我有一个值列表(可能是列表字符串)，我想在我的dataframe中创建一个新列，并将这些列表值作为列值添加到这个新列。我试过了
val x = List("def", "cook", "abc")
val c_df = null
x.foldLeft(c_df)((df, column) => df.withColumn("newcolumnname" , lit(column)))
但它抛出了StackOverflow异常，我也尝试过迭代字符串值列表并添加到数据帧中，但结果值是一个数据帧列表，但
浏览 0提问于2019-01-03得票数 0
1回答
火花放电中两列的最大值
dataframe、pyspark
这应该很简单，但我还是找不到办法。我必须计算一个新列，其值为col1和col2列的最大值。所以，如果col1是2，col2是4，那么new_col应该有4，依此类推。在一张火花公子的数据里。我尝试了df=df.withColumn("new_col",max("col1","col2"))，但是得到了错误"_()取了一个位置参数，但给出了两个位置参数“。那么正确的方法是什么呢？提前谢谢。
浏览 3提问于2021-07-31得票数 1
回答已采纳
1回答
TypeError:字段col1: LongType无法接受类型中的对象
python、json、pandas、pyspark
我在python中有这样的json： example = [{"col1":"","col2":"","col3":52272}, ...] json的列可能为空。空值为"“。 我创建了spark模式： schema = StructType([
StructField("col1", LongType(), True),
StructField("col2", LongType(), True),
StructField("col3",
浏览 17提问于2021-10-18得票数 0
回答已采纳
2回答
如何删除PySpark中少于三个字母的单词？
apache-spark、pyspark
我有一个“text”列，其中存储令牌数组。如何过滤所有这些数组，使令牌至少有三个字母长？
from pyspark.sql.functions import regexp_replace, col
from pyspark.sql.session import SparkSession
spark = SparkSession.builder.getOrCreate()
columns = ['id', 'text']
vals = [
(1, ['I', 'am', 'good']),
(2,
浏览 0提问于2018-11-26得票数 2
回答已采纳
1回答
如何将两个数组的对应元素与火花转换连接起来？
arrays、apache-spark、pyspark、concat
我有两个ArrayType列，我想在一个新的StringType列中连接它们的相应值。
我想知道是否可以使用火花转换，而不是UDF。
input:
col1 col2
['1','2'] ['ABC', 'DEF']
output:
col3
'1:ABC_2:DEF'
浏览 0提问于2019-09-05得票数 0
回答已采纳
2回答
如果要在python/pyspark中获取数组，则跳过数字跟在字符串后面的拆分
python、arrays、regex、apache-spark、pyspark
我想创建一个基于字符串列的新列，其中包含分隔符(“")，如果后面跟有数字，则跳过拆分，最后使用python/pyspark删除结尾的";”： 输入： "511 520 NA 611;"
"322 GA 620"
"3 321;"
"334344" 预期输出： +Column | +new column
"511 520 NA 611;" | [511,520,NA 611]
"322 GA 620" | [322,GA 620]
"3 32
浏览 37提问于2021-10-01得票数 1
回答已采纳
3回答
两个数组成员的乘法
arrays、apache-spark、pyspark、apache-spark-sql、multiplication
我有下表： from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.getOrCreate()
cols = [ 'a1', 'a2']
data = [([2, 3], [4, 5]),
([1, 3], [2, 4])]
df = spark.createDataFrame(data, cols)
df.show()
# +------+------+
# | a1| a2|
# +------+----
浏览 43提问于2021-06-28得票数 2
回答已采纳
1回答
如何添加一个顺序递增的列来激发从n (PySpark)开始的数据帧？
python、apache-spark、pyspark、auto-increment
我有一个dataframe值，如
-------------
| col1 | col2 |
-------------
| a | 2 |
| b | 3 |
| c | 4 |
| d | 5 |
-------------
我希望创建第三列，该列具有从指定数字开始的自动递增值。
假设我希望数字从5开始，那么预期的输出应该是
--------------------
| col1 | col2 | col3 |
|--------------------|
| a | 2 | 5 |
| b |
浏览 1提问于2020-03-04得票数 1
回答已采纳
1回答
PYSPARK:如何根据条件更新列中的值
apache-spark、pyspark
给定两个列的表: DEVICEID和DEVICETYPE
如果DEVICEID中的字符串长度为5，如何更新列DEVICETYPE：
from pyspark.sql.functions import *
df.where(length(col("DEVICEID")) = 5).show()
浏览 1提问于2020-06-23得票数 3
回答已采纳
1回答
如何将StringType列与ArrayType列的每个元素连接在一起
python、apache-spark、pyspark
我在中有一个StringType()列和一个ArrayType(StringType())列。我想将StringType()列与ArrayType(StringType())列的每个元素连接起来。
示例：
+-----+---------------------+------------------------------+
|col1 |col2 |col3 |
+-----+---------------------+------------------------------+
|'AQQ'
浏览 0提问于2019-12-16得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
