修改/更新pyspark列值
修改/更新pyspark列值是指在使用pyspark进行数据处理和分析时，对数据集中的某一列进行修改或更新操作。下面是一个完善且全面的答案：
在pyspark中，可以使用DataFrame API或SQL语句来修改/更新pyspark列值。
- 使用DataFrame API：
- 首先，创建一个DataFrame对象，可以从文件、数据库或其他数据源中读取数据。
- 使用
withColumn()方法可以添加新列或更新现有列的值。该方法接受两个参数，第一个参数是要更新的列名，第二个参数是更新后的值或表达式。 - 例如，要将名为"age"的列中的所有值加1，可以使用以下代码：
- 例如，要将名为"age"的列中的所有值加1，可以使用以下代码：
- 在上述代码中，使用
withColumn()方法将"age"列的值加1，并将结果重新赋值给原始DataFrame对象。
- 使用SQL语句：
- 首先，将DataFrame对象注册为一个临时表，以便可以使用SQL语句进行查询和操作。
- 使用
spark.sql()方法执行SQL语句来更新列的值。 - 例如，要将名为"age"的列中的所有值加1，可以使用以下代码：
- 例如，要将名为"age"的列中的所有值加1，可以使用以下代码：
- 在上述代码中，首先将DataFrame对象注册为一个临时表"temp_table"，然后使用SQL语句执行查询并将结果赋值给新的DataFrame对象。
修改/更新pyspark列值的应用场景包括但不限于：
- 数据清洗：根据特定条件对数据进行过滤、转换或修复。
- 特征工程：根据业务需求对特征进行处理、组合或衍生。
- 数据分析：根据分析目标对数据进行聚合、排序或分组。
- 机器学习：根据模型训练的需要对数据进行预处理或特征选择。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据仓库CDW：https://cloud.tencent.com/product/cdw
- 腾讯云数据湖分析DLA：https://cloud.tencent.com/product/dla
- 腾讯云弹性MapReduce EMR：https://cloud.tencent.com/product/emr
- 腾讯云数据集成服务DTS：https://cloud.tencent.com/product/dts
- 腾讯云数据传输服务CTS：https://cloud.tencent.com/product/cts
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和情况进行评估。
相关·内容
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。
如何更改数据文件的行x列y中的值？
在pandas中，这将是：
df.ix[x,y] = new_value
编辑：合并下面所说的内容，您不能修改现有的数据格式，因为它是不可变的，但是您可以返回一个新的数据格式，并进行所需的修改。
如果只想根据条件替换列中的值，如np.where
from pyspark.sql import functions as F
update_func = (F.when(F.col('update_col') == replace_val, new_value)
浏览 12提问于2015-03-17得票数 95
回答已采纳
2回答
优化大量列的不同值
、、、
我需要计算大量列(>20,000)的不同值。我现在使用pyspark.sql.functions.approxCountDistinct()来获得每个列的不同计数的近似值。这是超快(HyperLogLog)。在此之后，如果不同的计数低于某个阈值(如10)，则需要值。我有一个循环来完成这个任务。
distinct_values_list[cname] = df.select(cname).distinct().collect()
它非常慢，因为大多数时候，我有许多列要处理，可以是一半的列(10K)。难道没有办法让火花一次做很多列吗？似乎它只会并行化每个列，但不能同时执行多个列。
感谢任何我
浏览 2提问于2018-05-21得票数 0
回答已采纳
1回答
我的PipelinedRDD中有一列标称值，为了分类目的，我想将其转换为索引编码。
我曾经在pyspark.ml中使用pyspark.ml，这是非常容易使用的。然而，这一次我正在学习如何处理rdd而不是数据格式，而且在pyspark.mllib中没有这样的东西。
任何帮助都是非常感谢的。
浏览 0提问于2018-02-14得票数 1
回答已采纳
我在PySpark中使用PySpark( Python )，下面是我的代码的开头(注意，我实际上是通过与PySpark交互的shell来运行这一切的)。
import jaydebeapi
import jpype
conn = jaydebeapi.connect('org.apache.phoenix.jdbc.PhoenixDriver',
['jdbc:phoenix:hostname', '', ''])
我正在查询，它是Apache HBase的一个SQL“前端”。
下面是SQL
浏览 5提问于2014-11-13得票数 3
回答已采纳
我有一个pyspark dataframe，其中一些列包含字符串数组(其中一列包含嵌套数组)。因此，我无法将数据帧写入csv。
下面是我正在处理的数据帧的一个示例-
+-------+--------------------+---------+
|ID | emailed| clicked
+-------+--------------------+---------+
|9000316|[KBR, NRT, AOR] |[[AOR]]
|9000854|[KBR, NRT, LAX] | Null
浏览 2提问于2017-09-11得票数 5
回答已采纳
1回答
我需要用'modifiedDate‘列在Pyspark中创建delta表。行更新时，修改time的值应更改为当前时间。我曾想过要做一个触发器，但却找不到任何关于在带有delta表的Pyspark中使用触发器的信息。我该怎么做？
浏览 1提问于2022-01-30得票数 1
回答已采纳
2回答
从列表中添加列的pySpark
、、、、
我有一个数据文件名，并希望根据列表中的值向它添加列。
我的值列表将从3-50个值变化。我是pySpark新手，我试图将这些值作为新列(空)附加到我的df中。
我看到了关于如何将一列添加到dataframe中的推荐代码，而不是从列表中添加多列的代码。
mylist = ['ConformedLeaseRecoveryTypeId', 'ConformedLeaseStatusId', 'ConformedLeaseTypeId', 'ConformedLeaseRecoveryTypeName', 'ConformedLea
浏览 2提问于2020-05-12得票数 1
回答已采纳
1回答
当使用df.write.csv('path')输出到CSV文件时，是否有一种方法仅引用数据文件中的非数字列？
我知道您可以使用选项quoteAll=True来引用所有列，但我只想引用字符串列。
我使用的是PySpark 2.2.0。
浏览 0提问于2018-09-19得票数 1
给定两个列的表: DEVICEID和DEVICETYPE
如果DEVICEID中的字符串长度为5，如何更新列DEVICETYPE：
from pyspark.sql.functions import *
df.where(length(col("DEVICEID")) = 5).show()
浏览 1提问于2020-06-23得票数 3
回答已采纳
我正在尝试修改Pyspark源代码，以便模拟一个不确定的场景，以便测试一些配置更改。具体地说，我将rdd.py更改为休眠一段时间，以模拟工作节点停止，例如保存到s3。当我在Pyspark shell中运行代码时，我可以观察到更改的效果，但当我运行spark-submit时，我无法观察到更改的效果。即使我在本地运行，也会发生这种情况。
我不明白在shell中调用Pyspark的方式与通过spark-submit调用Pyspark的方式有什么区别。根据我所看到的，修改后的rdd.py已经部署到$SPARK_HOME/python/pyspark下的位置。
有人对此有什么见解吗？我正在运行spark
浏览 1提问于2018-02-01得票数 0
我可以从pyspark中的mysql表中读取数据。
hiveContext.read.format('jdbc').options(url=jdbc_url, dbtable=mysql_query,driver='com.mysql.jdbc.Driver').load()
但是我找不到在mysql中更新记录的方法。有没有人执行过pyspark的更新。
浏览 4提问于2016-12-17得票数 1
我在PySpark中的向量列上使用UDF有困难，可以在这里说明如下：
from pyspark import SparkContext
from pyspark.sql import Row
from pyspark.sql.types import DoubleType
from pyspark.sql.functions import udf
from pyspark.mllib.linalg import Vectors
FeatureRow = Row('id', 'features')
data = sc.parallelize([(0, Vecto
浏览 2提问于2015-06-18得票数 2
回答已采纳
1回答
Spark SQL更新/删除
、、、、
目前，我正在做一个使用pySpark的项目，它读取一些Hive表，将它们存储为数据帧，并且我必须对它们执行一些更新/过滤。我正在不惜一切代价避免使用Spark语法来创建一个框架，该框架只接受参数文件中的SQL，该参数文件将使用我的pySpark框架运行。
现在的问题是，我必须在我的最终数据帧上执行更新/删除查询，是否有任何可能的工作来在我的数据帧上执行这些操作？
非常感谢!
浏览 7提问于2019-11-15得票数 1
我对pyspark是个新手。我有一个包含ID和BALANCE列的pyspark数据框。我尝试将列balance存储到100% (1-100%)的存储桶中，并计算每个存储桶中有多少个in。
我不能使用任何与RDD相关的东西，我只能使用Pyspark语法。我试过下面的代码
w = Window.orderBy(df.BALANCE)
test = df.withColumn('percentile_col',F.percent_rank().over(w))
我希望得到一个新的列，它可以自动计算平衡列中每个数据点的百分位数，并忽略缺少的值。
浏览 14提问于2019-07-11得票数 0
1回答
是否可以找到完整PySpark数据的哈希值(最好是散列256)。我不想找到单个行或列的散列。我知道pySpark中存在函数，用于从pyspark.sql.functions导入sha2进行列级哈希计算。
所需的是根据年份划分一个大数据，并为每年(小数据)查找散列值并将结果持久化到一个表中。
输入(产品，质量，商店，SoldDate)
读取数据中的数据，通过SoldDate进行分区，计算每个分区的散列，并将其写入文件/表。
输出：(日期，散列)
我这样做的原因是，我必须比较每天运行这个过程，然后检查哈希是否更改了以前的日期。
存在文件级别md5的可能性，但不希望生成文件，而是根据日期动态计算分区
浏览 8提问于2022-12-04得票数 0
1回答
这个问题非常琐碎，但是我在PySpark的世界里是全新的，我面临着很多问题，即使是简单的任务。
假设我们有一个带有A列的dataframe df。
我想要创建另一个dataframe，它只包含最后一个值为A的一个列(这里的最后一个值是指列A底部的真正记录)。
我已经试过了
df["A"][-1]，但我错了。
请注意，如果可能的话，我希望可以为PySpark和Pyspark中的Python代码提供一个解决方案。
浏览 1提问于2019-06-21得票数 0
回答已采纳
2回答
我有以下pyspark.dataframe
age state name income
21 DC john 30-50K
NaN VA gerry 20-30K
我正在尝试实现df.isnull().sum()的等价物(来自pandas)，它产生：
age 1
state 0
name 0
income 0
一开始，我尝试了一些类似的东西：
null_counter = [df[c].isNotNull().count() for c in df.columns]
但这会产生以下错误：
TypeError: Column
浏览 3提问于2017-02-18得票数 9
回答已采纳
1回答
我有一个SQL查询，我正试图将其转换为PySpark。在SQL查询中，我们连接两个表并更新条件匹配的列。SQL查询如下所示：
UPDATE [STUDENT_TABLE] INNER JOIN [COLLEGE_DATA]
ON ([STUDENT_TABLE].UNIQUEID = COLLEGE_DATA.PROFESSIONALID)
AND ([STUDENT_TABLE].[ADDRESS] = COLLEGE_DATA.STATE_ADDRESS)
SET STUDENT_TABLE.PROGRESS = "REGULAR"
WHERE (((STUDENT_T
浏览 1提问于2022-10-20得票数 0
回答已采纳
我有一个hive表，它是按插入时间列分区的。
我有一个pyspark dataframe，除了已分区的列之外，它与表具有相同的列。
当表未分区时，以下操作效果很好：
df.insertInto('tablename',overwrite=True)
但是我不知道如何从pyspark插入到一个特定的分区。
下面尝试过：
df.insertInto('tablename',overwrite=True,partition(inserttime='20170818-0831'))
但它不起作用，失败的原因是
SyntaxError: non-keyw
浏览 0提问于2017-09-16得票数 1
2回答
我有以下数据结构：
列"s“和"d”表示"x“列中对象的转换。我想要做的是获取"x“列中的每个对象的转换字符串。例如，“新”栏如下：
有使用PySpark的好方法吗？
我使用PySpark尝试了以下udf代码，但它不起作用：
from pyspark.sql.functions import udf
from pyspark.sql.functions import array_distinct
from pyspark.sql.types import ArrayType, StringType
create_transition = u
浏览 13提问于2022-10-19得票数 1
回答已采纳
1回答
我有一个名为‘count’的列的dataframe，我想将一个自定义函数"do_something“应用于列的每个元素，即每个数组。我不想修改dataframe，我只想做一个单独的操作与列计数。列的所有数组都具有相同的大小。
+----------------------+---------------------------------------+
|id| counts|
+----------------------+---------------------------------------+
|1| [8.0, 2.0, 3.0
浏览 2提问于2017-09-22得票数 1
回答已采纳
我正在尝试加载拼花的文件，在S3到红移使用胶水作业。当我第一次运行Glue Job时，它正在创建表和加载数据，但当第二次通过更改1列的数据类型运行时，作业并没有失败，而是在Redshift中创建了新列并附加了数据。
例如:在这里，我更改了整型数字的数据类型
FileName **abc**
Code,Name,Amount
'A','XYZ',200.00
FileName **xyz**
Code,Name,Amount
'A','XYZ',200.00
在Redshift中
Output after processing b
浏览 3提问于2020-03-02得票数 2
1回答
我想将一些函数应用到pysaprk dataframe的列中，这是一个用UDF实现这一点的管理方法，但是我希望返回是另一个对象，而不是dataframe的一个列、一个熊猫数据框、一个python列表等等。
我使用分类器将每一列划分为类，但我希望结果是类的摘要，而不是修改，我不知道这是否适用于UDF。
我的代码是这样的
import numpy as np
import pandas as pd
import pyspark
from pyspark.sql import SQLContext
from pyspark.sql.functions import udf
from pyspark
浏览 0提问于2018-12-18得票数 1
回答已采纳
1回答
如何使用吡火花API指定列名的？
举个例子，让我们假设我们
df = spark.range(10)
以下尝试失败：
>>> df.hint("rebalance", "id").explain()
...
pyspark.sql.utils.AnalysisException: REBALANCE Hint parameter should include columns, but id found
如果不按名称(即简单字符串)指定列，如何指定这些列？
使用别名的无论是>>> df.alias("df").h
浏览 15提问于2022-06-15得票数 0
回答已采纳
我需要帮助在pyspark数据帧主题。我有一个数据框架，比如1000+列和100000+ rows.Also，我有10000+ if elif条件，在每个if else条件下，只有很少的全局变量被一些值递增。现在我的问题是，我如何才能仅在pyspark中实现这一点。我读到了过滤器和where函数，它们根据条件返回行，我需要检查这些10000+ if else条件并执行一些操作。
任何帮助都将不胜感激。
如果你能给出一个小数据集的例子，那将会有很大的帮助。
谢谢你
浏览 0提问于2017-07-25得票数 0
1回答
我想要创建火花数据框架的新列，其中包含已有列的四舍五入值。"em“列的类型为float。
我已经查过不同的帖子了，但搞不清楚。包括以下链接：
这是我的代码：
import pyspark.sql.functions as f
df = df.withColumn("rounded", f.round(f.col("em"), 3))
df.show()
新生成的列“四舍五入”与原始列"em“完全相同。我正在Cloudera集群上使用中的PyscemVersion2.3.0版本。
更新：
试过以下几点：
%pyspark
s2_em = s2.se
浏览 0提问于2019-07-09得票数 0
回答已采纳
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。
例如：
Column_1 column_2
null null
null null
234 null
125 124
365 187
and so on
当我想对column_1求和时，我得到的结果是一个空值，而不是724。
现在，我想用空格替换数据框所有列中的null。所以当我尝试对这些列求和时，我不会得到空值，但我会得到一个数值。
我们如何在pyspark中实现这一点呢？
浏览 1提问于2017-02-18得票数 56
回答已采纳
1回答
我有一个pySpark dataFrame，类似：
class classID Property
1 1 1
1 2 0
1 3 1
1 4 1
2 1 0
2 2 0
2 3 1
现在，我需要添加一个列，其中包含当前分区中的行数，直到该行拥有属性== 1为止。
class classID Property relevantCount
1 1 1 1
1
浏览 0提问于2018-12-04得票数 2
回答已采纳
1回答
当我使用UDF处理一列时，我不确定UDF处理是不是从这一列逐个处理元素？如果是的话，我不明白为甚麽会有问题。 import pyspark.sql.types as typ
from pyspark.sql.functions import udf,pandas_udf, PandasUDFType
def parse_model(v):
return v.split(' ')
Parse_model=pandas_udf(parse_model,typ.ArrayType(typ.StringType(),True))
sample_data_df.withColu
浏览 14提问于2019-05-20得票数 0
回答已采纳
我正在使用python3环境中的pyspark。我有一个dataframe，我正在尝试将一列密集的向量拆分成多个列值。我的df是：
df_vector = kmeansModel_2.transform(finalData).select(['scalaredFeatures',
'prediction'])
df_vector.show()
+--------------------+----------+
| scalaredFeature
浏览 4提问于2017-11-29得票数 3
我有下面的代码。本质上，我尝试做的是从现有列中的值生成一些新列。这样做之后，我将包含新列的dataframe保存为集群中的一个表。抱歉，我还是个初学者。
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
from pyspark.sql.functions import udf, array
from pyspark.sql.types import DecimalType
import numpy as np
import math
df = sqlContext.sql('select * from db
浏览 1提问于2017-10-10得票数 2
回答已采纳
在从dataframe中选择一些列的查询中，我有一个列类型: map，它有多个属性。我试图从该列中只选择几个属性，但这向我返回了一个错误，因为一些属性包含特殊字符，如'-‘，该列的其他属性工作正常
示例：
sqlContext.sql("select colA, colB.attribute1 from schema.table")
但是，如果我选择了一个包含-的属性，它将失败
sqlContext.sql("select colA, colB.4-TRANSPORT from schema.table")
=>失败
18/08/29 15:21:
浏览 0提问于2018-08-29得票数 1
相关问题：
因此，我有一个pyspark dataframe，我想删除所有行中所有值都相同的列，同时保持其他列的完整性。
然而，上述问题的答案仅适用于熊猫。有没有针对pyspark数据帧的解决方案？
谢谢
浏览 1提问于2018-12-17得票数 4
我希望使用Spark DataFrame的PySpark在特定的单元格中更改一个值。
简单的例子--我创建了一个模拟Spark DataFrame
df = spark.createDataFrame(
[
(1, 1.87, 'new_york'),
(4, 2.76, 'la'),
(6, 3.3, 'boston'),
(8, 4.1, 'detroit'),
(2, 5.70, 'miami'),
(3, 6.320, '
浏览 4提问于2018-05-17得票数 7
回答已采纳
1回答
我刚刚开始在非常大的csv文件上使用pyspark。我使用的是Spark版本2.1.0。我希望从一个.csv文件中读取数据，并将其加载到中，然后在过滤特定的行之后，使用matplotlib绘制2列(纬度和经度)，将其可视化。
这就是我到目前为止所做的：
进口包装：
from pyspark.sql import SparkSession
from pyspark.conf import SparkConf
from pyspark.sql.functions import *
import matplotlib.pyplot as plt
构建火花会话：
spark = SparkSessio
浏览 0提问于2017-06-28得票数 1
我结合使用withColumn和UDF来获取一个新列，然后选择两个列并将其分配给一个新的df。但是当我在这个新的df上运行TypeError()时，它给我的结果是：'NoneType‘对象是不可订阅的。show()运行得很好。我正在尝试获得新的df的长度。下面是我的代码： # Find all entities with names that are palindromes
# (name reads the same way forward and reverse, e.g. madam):
# print the count and show() the resulting S
浏览 26提问于2021-04-06得票数 0
回答已采纳
这可能是源于我无知的一个愚蠢的问题。我已经在PySpark上工作了几个星期了，一开始我没有多少编程经验。
我的理解是，在Spark中，RDDs、Dataframes和数据集都是不可变的--我同样理解，这意味着您不能更改数据。如果是这样，为什么我们能够使用withColumn()编辑Dataframe的现有列？
浏览 0提问于2018-11-19得票数 14
回答已采纳
2回答
我试图运行以下PySpark流在木星笔记本。下面是我在笔记本中使用的代码的第一部分：
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils
sc = pyspark.SparkContext(master='local[*]',appName="PySpark streaming")
ssc = StreamingContext(sc, 2)
topic = &
浏览 0提问于2018-06-29得票数 1
回答已采纳
1回答
我尝试从PySpark中的REST中提取不同的表。我跟踪了这个。我想要将不同的模式存储在一列中的中。下面是一个示例：
import pyspark.sql.functions as F
from pyspark.sql import Row
from pyspark.sql.types import *
A = [{"TableName": "Table1", "Schema": StructType([StructField("a", StringType()), StructField("b", Intege
浏览 16提问于2022-08-23得票数 0
回答已采纳
1回答
我需要这段简单的代码(Pyspark)的帮助： def ann(table):
table=table.withColumn('stand', lit('29Jan2020'))
for table in [akt_test, b60_test, db71_test, pek6_test, db00f_test, d23b_test, bw0110_test]:
ann(table) 因此，我只尝试将列"stand“添加到列表中的所有(已经存在)数据帧中。不幸的是，没有添加该列。奇怪的是，如果我在函数"ann“的末尾添加一个命令
浏览 154提问于2021-01-30得票数 0
回答已采纳
我试图使用pyspark.pandas API在数据库上构造数据的共生矩阵。
我试着用这个方法构造矩阵。
该代码在熊猫中运行良好，但在使用pyspark.pandas时出现了错误。
coocc = psdf.T.dot(psdf)
coocc
我得到了这个错误
TypeError: Unsupported type DataFrame
我查过医生了。
pyspark.pandas.DataFrame.dot()
以串联作为输入。
我尝试使用psdf.squeeze()将dataframe转换为系列化，但它并不将dataframe转换为串联，因为我的dataframe有多个列。
有没有办法将py
浏览 8提问于2022-10-14得票数 0
回答已采纳
当我迭代地将500多个列添加到我的pyspark中时，我遇到了堆栈溢出错误。所以我包括了检查点。检查站帮不上忙。因此，我创建了下面的玩具应用程序来测试我的检查点是否正常工作。在这个例子中，我所做的就是一次又一次地复制原始列来迭代地创建列。我坚持，检查点和计数每10个迭代。我注意到我的dataframe.rdd.isCheckpointed()总是返回False。我可以验证检查点文件夹确实是在磁盘上创建和填充的。我在用哥库德的dataproc
这是我的代码：
from pyspark import SparkContext, SparkConf
from pyspark import Stora
浏览 1提问于2017-11-16得票数 1
回答已采纳
2回答
在PySpark中有什么特定的方法可以像我们在r中那样绑定两个数据帧吗？
示例：
数据帧1有10列。
数据帧2有1列
我需要在PySpark中同时绑定数据帧和作为一个数据帧。
浏览 1提问于2017-08-30得票数 3
1回答
我对col函数有点困惑。我知道我可以使用以下方法来选择列
df.select(df.key)df.select(col("key"))df.select(df["key"])df.select("key")
那么，他们有什么不同呢？
from pyspark.sql import functions as F
df = spark.createDataFrame([("A", 1), ("B", 2), ("C", 3)], ["key", "value"])
d
浏览 1提问于2022-09-01得票数 2
有一系列数值变量的pyspark数据帧。 例如 我的dataframe有一个从1到100的列值。 1-10 - group1<== 1到10的列值应包含group1作为值11-20 - group2。。。91-100 group10 如何使用pyspark dataframe实现这一点？
浏览 15提问于2019-04-10得票数 1
回答已采纳
我想使用pyspark从列句子中只切出字母数字的单词。 例如, 原文： ? 预期结果： ?
浏览 22提问于2021-07-15得票数 0
回答已采纳
我正在对来自Teradata数据库的数据执行增量加载，并将其存储为一个拼花文件。因为Teradata中的表包含数十亿行，所以我希望我的PySpark脚本能够比较哈希值。
Teradata：
当前存储的Parquet文件：
我的PySpark脚本使用JDBC连接来调用teradata：
tdDF = return spark.read \
.format("jdbc") \
.option("driver", "com.teradata.jdbc.TeraDriver") \
.option("url", "jd
浏览 0提问于2019-01-16得票数 5
1回答
我试图将多个列作为一个udf (使用pyspark.sql.functions.struct())传递给一个StructType。
在这个udf中，我希望获得作为list传递的struct列的字段，这样我就可以对每一行遍历传递的列。
基本上，我正在寻找这个答案- 中提供的scala代码的pyspark版本。
浏览 1提问于2019-09-04得票数 1
回答已采纳
我有一个100k行，20M列的pyspark.mllib.linalg.SparseMatrix。在PySpark中将其保存为稀疏矩阵的最佳格式是什么？
我发现另一个帖子的主题与一年前略有不同，但答案并不能解决我的问题。。
浏览 31提问于2018-06-05得票数 1
回答已采纳
我有一个data frame在pyspark，如下所示。
df.show()
+---+----+
| id|name|
+---+----+
| 1| sam|
| 2| Tim|
| 3| Jim|
| 4| sam|
+---+----+
现在，我向df添加了一个新列，如下所示
from pyspark.sql.functions import lit
from pyspark.sql.types import StringType
new_df = df.withColumn('new_column', lit(None).cast(StringType()))
浏览 1提问于2018-05-02得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
