如何在Pyspark Dataframe中的特定索引中添加行或替换？
在Pyspark中，可以使用union方法来添加行或替换特定索引的行。下面是一个示例：
- 首先，创建一个空的DataFrame作为目标DataFrame，用于存储添加或替换后的结果。
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
target_df = spark.createDataFrame([], schema) # schema为目标DataFrame的结构- 然后，使用
union方法将原始DataFrame中的行添加到目标DataFrame中，除了需要替换的特定索引行。
target_df = target_df.union(original_df.filter(~condition)) # condition为需要替换的特定索引行的条件- 最后，将新的行添加到目标DataFrame中，或者替换特定索引的行。
target_df = target_df.union(new_row) # new_row为需要添加或替换的新行完整的代码示例：
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建目标DataFrame
target_df = spark.createDataFrame([], schema) # schema为目标DataFrame的结构
# 添加或替换行
target_df = target_df.union(original_df.filter(~condition)) # condition为需要替换的特定索引行的条件
target_df = target_df.union(new_row) # new_row为需要添加或替换的新行在Pyspark中，还可以使用withColumn方法来替换特定索引的行，具体步骤如下：
- 首先，使用
monotonically_increasing_id函数为DataFrame添加一个自增的索引列。
from pyspark.sql.functions import monotonically_increasing_id
original_df = original_df.withColumn("index", monotonically_increasing_id())- 然后，使用
withColumn方法替换特定索引的行。
from pyspark.sql.functions import when
# 使用when函数替换特定索引的行
target_df = original_df.withColumn("column1", when(condition, new_value).otherwise(original_df["column1"]))完整的代码示例：
from pyspark.sql import SparkSession
from pyspark.sql.functions import monotonically_increasing_id, when
spark = SparkSession.builder.getOrCreate()
# 添加自增索引列
original_df = original_df.withColumn("index", monotonically_increasing_id())
# 替换特定索引的行
target_df = original_df.withColumn("column1", when(condition, new_value).otherwise(original_df["column1"]))以上是在Pyspark Dataframe中添加行或替换特定索引的行的方法。请注意，这里的示例代码仅供参考，具体实现可能需要根据实际情况进行调整。
相关·内容
1回答
如何在Pyspark Dataframe中的特定索引中添加行或替换？
python、apache-spark、pyspark、apache-spark-sql
我想将此列表L1作为行添加到第一个索引中，如何在Pyspark Dataframe中的特定索引中追加一行？
浏览 30提问于2021-01-24得票数 0
回答已采纳
1回答
Pyspark -> StringIndexer:用数字替换“无”值
apache-spark、pyspark
我有几个“无”值的数据框架。通过StringIndexer，将字符串列转换为浮动列后，"None“值被替换为number。谢谢。(self.rawData, columnName)
@staticmethod
def TransformNominalToNumeric(dataFrameinputCol = inputColumn, outputCol = outputColumn, handleInvalid
浏览 1提问于2018-04-29得票数 0
2回答
将数据保存到HDFS的格式是什么？
hadoop、apache-spark、hdfs、apache-spark-sql
创建DataFrame后，我可以将其保存为avro、csv或拼板格式。
在dataframe或rdd中是否有其他格式可用于在Hadoop中保存数据？
浏览 2提问于2017-12-21得票数 1
1回答
用MATLAB在Excel中插入行
excel、matlab、time、insert
我的Excel文件中的数据应该是有争议的(第一列中的索引)。但是文件中缺少一些数据。例如，# 5和6在$4到7之间丢失。我的目的是：(1)用丢失的数据标识文件；(2)如果缺少数据，则插入行以使其连续。有人能告诉我如何在现有数据中添加行吗？使用xlswrite，我只能在文件末尾添加行或替换一些行。我有
浏览 4提问于2014-02-26得票数 1
回答已采纳
1回答
在使用PySpark时，如何在Spark中实现Python数据结构？
python、python-2.7、apache-spark、pyspark
我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中<
浏览 34提问于2017-03-01得票数 1
回答已采纳
1回答
使用套接字的火花结构化流，设置模式，在控制台中显示DATAFRAME
apache-spark、pyspark、apache-spark-sql、spark-structured-streaming
如何在DataFrame中为流PySpark设置架构。from pyspark.sql import SparkSessionfrom pyspark.sql.functionsformat('socket')\ .option('por
浏览 3提问于2016-12-29得票数 3
回答已采纳
2回答
获取Spark dataframe中列的数组中项的索引
apache-spark、pyspark
通过执行以下操作，我可以根据数组字段中是否存在特定值来过滤Spark dataframe (在PySpark中)：有没有一种方法可以获得数组中找到项的位置的<e
浏览 1提问于2018-12-13得票数 5
回答已采纳
1回答
替换pyspark dataframe中列中的特定字符
pyspark
decimal(15) percentagename, age, decimal(10) percentagename, country, agename, country, age如何在火花公子中实现这一点
浏览 4提问于2021-12-29得票数 -1
回答已采纳
1回答
如何将索引转换为PySpark DataFrame？
python、indexing、pyspark、databricks
我有一个PySpark DataFrame，类似：------------|201 |efgh ||133 |mnop|mylist = ['abcd', 'ijkl', 'efgh', 'efgh', 'abcd', 'ijkl', 'ijkl']
我希望使用<
浏览 2提问于2019-08-20得票数 1
回答已采纳
6回答
Pyspark:通过搜索字典替换列中的值
python、apache-spark、dataframe、pyspark、apache-spark-sql
我是PySpark的新手。deviceDict = {'Tablet':'Mobile','Phone':&
浏览 5提问于2017-05-15得票数 23
回答已采纳
1回答
Pyspark:使用dataframe在hive分区表上用新数据替换旧数据
apache-spark、hive、pyspark
您能指导我使用pyspark(dataframe)在特定的hive分区上用新数据替换旧数据吗？每个月我都会收到一些县的记录。我想用该分区上的新数据替换旧数据。我已经使用pyspark开发了脚本，并在数据帧中加载了特定分区的新数据。现在，我想单独为该分区用新数据替换旧数据(因为基表很大)。
我尝试删除该分区并附加新的</
浏览 8提问于2016-08-16得票数 2
2回答
Danfo dataFrame -按索引、列替换值
pandas、dataframe、danfojs
在python中的python中，用列和索引来替换值非常简单。示例DataFrame： A B1 2 3002 3 400df['A'][0] = 8000 800 200
1
浏览 6提问于2021-02-24得票数 1
5回答
PySpark DataFrames -不转换为Pandas的枚举方式？
python、apache-spark、bigdata、pyspark、rdd
我有一个很大的pyspark.sql.dataframe.DataFrame，名为df。我需要某种方法来枚举记录--因此，能够使用特定的索引访问记录。(或选择一组具有索引范围的记录)indexes=[2,3,6,7] 在这里，我想要类似的东西(而且不把数据转换成熊猫)。我能找到的最接近的是：
通过以下方法枚举原始数据中</e
浏览 6提问于2015-09-24得票数 20
回答已采纳
2回答
有没有办法在pyspark中根据索引对数据帧进行切片？
apache-spark、pyspark、apache-spark-sql
在python或R中，可以使用索引对DataFrame进行切片。df.iloc[5:10,:]
在pyspark中有没有类似的方式来根据行的位置对数据进行切片？
浏览 3提问于2018-10-13得票数 4
回答已采纳
1回答
如何有效地在(稀疏)矩阵中插入行？
r、performance、row、sparse-matrix
我有一个庞大的稀疏矩阵，需要在特定的行索引中插入一行。我基本上应用了建议的技术，但这是非常低效率的，因为它复制了原始矩阵。简单地说，代码的范围是高效地生成M2 (理想情况下，直接替换M，这样甚至不需要M2 )：
M = as(cbind(1:4,1:4),"sparseMatrix")append或tibble的add_row。编辑:我注意到上
浏览 3提问于2021-01-08得票数 1
回答已采纳
1回答
替换pyspark数据帧中的值
python、apache-spark、pyspark、spark-dataframe
我对pyspark是个新手，正在做我的第一个spark项目，我面临着两个问题。a)无法使用以下方法引用列b)不能将我的spark数据帧中的值替换为聚合值，如meanfrom pyspark import SparkConf, SparkContext
from
浏览 3提问于2017-09-28得票数 0
1回答
具有替换的pyspark中的随机抽样
random、pyspark、apache-spark-sql
我有一个具有9000个唯一ids的dataframe df。| id | 2 我试过了但是我不知道怎么准确地打到100000
浏览 3提问于2016-06-08得票数 9
2回答
有没有办法在pyspark中逐个访问数组(Struct)中的多个JSON对象
json、apache-spark、dataframe、pyspark、pyspark-sql
我对pyspark和json解析还是个新手，我被困在了某些特定的场景中。让我先解释一下我要做什么，我有一个json文件，其中有一个数据元素，这个数据元素是一个包含另外两个json对象的数组。:意思是迭代到json的第一个对象，将其存储到一个dataframe中，然后迭代到第二个对象，并将其存储到另一个dataframe中，然后对它们进行完全连接或任何类型的连接。(这是可能的
浏览 142提问于2019-06-05得票数 0
回答已采纳
1回答
如何使用PySpark执行嵌套的for-each循环
python、apache-spark、pyspark
假设有一个大型数据集(>40 of的拼图文件)，其中包含数千个变量的值观察，如三元组(变量、时间戳、值)。
现在想想一个查询，您只对500个变量的子集感兴趣。您希望检索特定时间点(观察窗口或时间框架)的这些变量的观测值(值->时间序列)。有开始和结束的时间。其中，dataframe 1包含事件1和dataframe 2的时间范围内的所有变量及其观测值，
浏览 2提问于2016-08-25得票数 6
回答已采纳
3回答
将SCALA === (三等号)转换为用于火花列的Python
python、scala、apache-spark、pyspark
我在Scala中有一段用于Python转换的代码 searchTermsInputTable: DataFrameString): String = {
countryCodes.split(",").map(cc => s":G:$cc:").mkString(&qu
浏览 3提问于2022-03-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
