如何在Pyspark中比较两个数据帧

在Pyspark中比较两个数据帧可以使用以下方法：

使用join操作：可以通过指定一个或多个共同的列将两个数据帧连接起来，并根据需要选择不同的连接类型（如内连接、左连接、右连接、全连接）。连接后，可以比较连接后的结果集中的列值。
使用exceptAll操作：可以使用exceptAll操作获取在第一个数据帧中存在但在第二个数据帧中不存在的行。这样可以找到两个数据帧之间的差异。
使用subtract操作：可以使用subtract操作获取在第一个数据帧中存在但在第二个数据帧中不存在的行，并且可以使用subtract操作获取在第二个数据帧中存在但在第一个数据帧中不存在的行。这样可以找到两个数据帧之间的差异。
使用except操作：可以使用except操作获取在第一个数据帧中存在但在第二个数据帧中不存在的行，并且可以使用except操作获取在第二个数据帧中存在但在第一个数据帧中不存在的行。这样可以找到两个数据帧之间的差异。
使用isEqual操作：可以使用isEqual操作比较两个数据帧是否完全相同。如果两个数据帧的结构和内容完全相同，则返回True，否则返回False。

需要注意的是，以上方法都是基于数据帧的结构和内容进行比较的。如果需要比较更复杂的条件或进行更高级的数据处理，可以使用Pyspark提供的其他函数和操作来实现。

腾讯云相关产品和产品介绍链接地址：

腾讯云PySpark：https://cloud.tencent.com/product/emr
腾讯云大数据计算服务：https://cloud.tencent.com/product/dc
腾讯云数据仓库：https://cloud.tencent.com/product/dws
腾讯云数据集成服务：https://cloud.tencent.com/product/dts

用于pyspark数据帧比较的pytest断言

python、unit-testing、pyspark、pytest

我有2个pyspark数据帧，如附件所示。expected_df和actual_df在我的单元测试中，我试图检查两者是否相等。expected_df.collect()) assert expected = actual 因为两个比较这些dfs的最佳方式是什么？

浏览 4提问于2018-10-03得票数 5

3回答

如何解决"SparkException:在Future.get中抛出异常“问题？

python、pyspark、databricks、azure-databricks

我正在处理两个pyspark数据帧，并对它们进行左反联接，以跟踪日常更改，然后发送电子邮件。Table_b, how='left_anti'预期输出是包含一些数据或不包含任何数据的pyspark数据帧。这个比较数据帧从

浏览 0提问于2019-06-22得票数 3

2回答

如何从spark中的两个数据帧中获取不匹配的列

python、apache-spark、pyspark

我有两个数据帧df1和df2，我只想在结果中不匹配的列。我试着使用SQL来做，但是SQL返回所有列，而不是一列。col31 2 3 col1|col2|col31 2 3df3是否可以在pyspark中做do，或者我必须通过从两个数据帧中选择每一列然后进行比较来进行比较

浏览 5提问于2018-08-20得票数 0

1回答

将列有条件地添加到数据帧中

python、apache-spark、dataframe、pyspark、multiple-columns

我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句

浏览 6提问于2017-01-20得票数 0

回答已采纳

2回答

PySpark列向绑定

pyspark

在PySpark中有什么特定的方法可以像我们在r中那样绑定两个数据帧吗？我需要在PySpark中同时绑定数据帧和作为一个数据帧。

浏览 1提问于2017-08-30得票数 3

1回答

通过连接比较两个pyspark数据帧

python、dataframe、join、pyspark

我有两个pyspark数据帧，它们的行数不同。我试图通过在多个键上连接这两个数据帧来比较所有列中的值，这样我就可以找到这些列中具有不同值的记录和具有相同值的记录。df1 and df2 on multiple keys same=df1.join(df2, on=['id','age','sex','value'], how='

浏览 14提问于2021-02-13得票数 0

2回答

如何拼接两个数据帧，其中一个有记录，另一个在pyspark中为空？

pyspark、pyspark-dataframes

我需要帮助来连接两个数据帧，其中一个是空的，另一个有数据。你能告诉我如何在pyspark中做到这一点吗？我使用的是熊猫：假设df2为空，而df1有一些记录。df2 = pd.concat([df2, df1]) 但是如何在pyspark中执行这个操作呢？

浏览 6提问于2020-12-02得票数 0

2回答

比较两种不同的pyspark数据帧

pyspark、apache-spark-sql、compare

我目前正在使用一个需要使用pyspark的API环境。这样，我需要在两个数据帧之间执行每日比较，以确定记录是新的、更新的和删除的。以下是两个数据帧的示例： today = spark.createDataFrame([ [2, "Banana", 4000, "A"],Tangerine", 3000, &

浏览 24提问于2021-08-27得票数 0

1回答

如何在Pyspark中比较两个数据帧

python、pyspark

c = df[df['CUSTOMER_EMAIL_ID'].isin(d.CUSTOMER_EMAIL_ID)] 如何在PySpark中编写相同的表达式？

浏览 6提问于2017-02-20得票数 2

1回答

使用SparkR向Spark dataframes添加包含函数值的列

r、apache-spark、data-science、sparkr

我正在使用SparkR来处理一些在其技术堆栈中包含R和spark的项目。sdf1$result <- sdf1$value == sdf2$value 问题是当我必须比较两个不同长度的数据帧时。使用函数操作sdf1和sdf2数据帧并将值赋给sdf1的新列的最佳方式是什么？假设我想生成一个长度介于sdf1和sdf2之间的列。

浏览 3提问于2017-05-18得票数 0

1回答

如何根据2列比较PySpark中的2个数据帧？

python-3.x、apache-spark、pyspark

在PySpark中，我尝试比较两个常见列的数据帧.Tha数据帧如下所示：aa1 ... ...ab3 ... ...从上面得到的结果是：aa1或者在伪代码中：提前感谢！

浏览 7提问于2018-02-28得票数 0

回答已采纳

2回答

如何比较两个没有唯一/主标识符的数据帧

sql、pandas、pyspark、apache-spark-sql、data-comparison

我试图比较从蜂箱和雪花中得到的两个数据集。这些数据集没有定义唯一标识符或主键。因此，这里的挑战是验证公司的交易从蜂箱针对各自的雪花行。sales|3-2-21+---+-----+-----+------+-----------+joined_df=sou

浏览 11提问于2022-03-17得票数 1

1回答

Spark使用前一行中的值向dataframe添加新列

python、apache-spark、dataframe、pyspark、apache-spark-sql

我想知道如何在Spark (Pyspark)中实现以下内容+--+---++--+---++--+---++--+---++--+---++--+---++--+---+-------++--+---+-------+|3 |7.0| 3.0 | +--+--

浏览 50提问于2015-12-16得票数 38

回答已采纳

1回答

PySpark:如何比较两个数据帧

dataframe、pyspark、spark-csv

我从两个csv文件中加载了两个数据帧。

浏览 0提问于2016-04-26得票数 1

1回答

如何比较两个pyspark数据帧？

python、pyspark

我试图比较两个spark数据帧，以从两个数据帧中找出不匹配的值，但我只能得到不匹配的df1值。我需要连接不匹配的df1和df2的值。

浏览 1提问于2021-10-29得票数 0

1回答

Junit spark:用来比较两个数据帧的java中的assertDataFrameEquals相当于什么？

java、dataframe、apache-spark、junit

我需要在我的单元测试中使用java来比较两个数据帧，我知道在scala中我们有assertDataFrameEquals，但是我没有在java中找到相同的东西，或者如何在junit中比较两个数据帧。

浏览 1提问于2020-12-24得票数 1

1回答

使用pyspark比较两个大型数据帧

python-3.x、apache-spark、pyspark、spark-dataframe、rdd

我目前正在做一项数据迁移任务，试图使用pyspark比较来自两个不同数据库的两个数据帧，找出两个数据帧之间的差异，并将结果记录在csv文件中，作为数据验证的一部分。我正在尝试一个性能高效的解决方案，因为有两个原因。大型数据帧和表键是未知的 #Approach 1 - Not sure about the per

浏览 11提问于2018-01-31得票数 1

回答已采纳

1回答

按条件将Pyspark DataFrame与sql like分区连接

dataframe、apache-spark-sql、pyspark-sql

如何在sql like分区上按条件连接两个DataFrames？我实际上需要连接两个数据帧，以便对于每个组(基于一个列变量)，我与其他表进行外部连接。例如，我有以下两个数据帧： df2：所需的输出类似于：我曾尝试使用Pyspark的Window操作符，但无法使用，因为它不能用于窗口上的连接。

浏览 12提问于2019-07-25得票数 0

2回答

用于获取精度、召回、f1score的混淆矩阵

python-3.x、dataframe、pyspark、pyspark-sql

我有一个数据帧df。我已经对数据帧执行了decisionTree分类算法。这两列是执行算法时的标签和特征。该模型被称为dtc。如何在pyspark中创建混淆矩阵？features', labelCol = 'label')predictions = dtcModel.transform(test) from pyspark.mllib.linalgimport Vect

浏览 0提问于2019-10-16得票数 4

1回答