如何比较PySpark中两个数据帧的计数？
在PySpark中，可以使用count()方法来比较两个数据帧的计数。count()方法返回数据帧中的行数，因此可以通过比较两个数据帧的行数来判断它们的计数是否相等。
以下是比较两个数据帧计数的示例代码：
# 导入必要的库
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.getOrCreate()
# 创建两个数据帧
df1 = spark.createDataFrame([(1, 'Alice'), (2, 'Bob'), (3, 'Charlie')], ['id', 'name'])
df2 = spark.createDataFrame([(1, 'Alice'), (2, 'Bob')], ['id', 'name'])
# 比较两个数据帧的计数
count1 = df1.count()
count2 = df2.count()
if count1 == count2:
print("两个数据帧的计数相等")
else:
print("两个数据帧的计数不相等")在上述示例中，我们创建了两个数据帧df1和df2，分别包含了不同的数据。然后，我们使用count()方法获取了两个数据帧的计数，并将计数值存储在count1和count2变量中。最后，我们通过比较这两个计数值来判断两个数据帧的计数是否相等，并打印相应的结果。
请注意，这只是比较两个数据帧计数的一种方法，还可以使用其他方法来实现相同的功能。
相关·内容
2回答
如何比较PySpark中两个数据帧的计数？
python、pyspark、apache-spark-sql
我使用的是PySpark，在这里我从数据帧中构建临时视图。作为其中的一部分，我想知道如何比较两个数据帧的计数，如果它们不匹配，就抛出一个错误。我的代码如下所示： df1 = spark.sql ("""SELECT Col1, Col2, Col3, Col4, Col5 FROM Table1""
浏览 8提问于2020-08-21得票数 1
回答已采纳
2回答
如何检查一个单词列表是否包含在熊猫数据帧中的另一个列表中？
python、pandas、list、apache-spark、pyspark
我正在尝试比较数据帧中不同列中的两个单词列表，并打印常见的单词。之后，我想计算一个列common_count，它是第一个列表中常用单词的计数除以总单词。最终输出将如下所示：用于创建数据帧的代码片段：
raw_data = [{'id': 1, 'name': '[corporation, fluor]&
浏览 14提问于2021-02-22得票数 0
回答已采纳
2回答
pyspark数据帧中所有列的总计数为零
python、dataframe、pyspark
我需要找出pyspark dataframe中所有列中0的百分比。如何在数据帧中找到每一列的零计数？
附言:我尝试过将数据帧转换为pandas数据帧，并使用了value_counts。但是，对于大型数据集来说，推断它的观察值是不可能的。
浏览 0提问于2018-08-20得票数 4
3回答
如何解决"SparkException:在Future.get中抛出异常“问题？
python、pyspark、databricks、azure-databricks
我正在处理两个pyspark数据帧，并对它们进行左反联接，以跟踪日常更改，然后发送电子邮件。Table_b, how='left_anti'预期输出是包含一些数据或不包含任何数据的pyspark数据帧。这个比较数据<e
浏览 0提问于2019-06-22得票数 3
2回答
比较两种不同的pyspark数据帧
pyspark、apache-spark-sql、compare
我目前正在使用一个需要使用pyspark的API环境。这样，我需要在两个数据帧之间执行每日比较，以确定记录是新的、更新的和删除的。以下是两个数据帧的示例： today = spark.createDataFrame([ [2, "Banana",
浏览 24提问于2021-08-27得票数 0
2回答
如何从spark中的两个数据帧中获取不匹配的列
python、apache-spark、pyspark
我有两个数据帧df1和df2，我只想在结果中不匹配的列。我试着使用SQL来做，但是SQL返回所有列，而不是一列。df1
a b ccol1|col2|col31 2 3col3
是否可以在pyspark中做do，或者我必须通过从两个数据帧中选
浏览 5提问于2018-08-20得票数 0
1回答
PySpark:如何比较两个数据帧
dataframe、pyspark、spark-csv
我从两个csv文件中加载了两个数据帧。| 0.7|我一直在摆弄dataframe foreach方法，但没能让它工作……作为一个星火新手如果有任何线索我会很感激的。
浏览 0提问于2016-04-26得票数 1
1回答
如何比较两个pyspark数据帧？
python、pyspark
我试图比较两个spark数据帧，以从两个数据帧中找出不匹配的值，但我只能得到不匹配的df1值。我需要连接不匹配的df1和df2的值。csv", header = "True")=================== df1和df2 ====================
代码的
浏览 1提问于2021-10-29得票数 0
2回答
不带聚合或计数的Pyspark groupBy DataFrame
python、pyspark、pyspark-dataframes
它可以在没有聚合或计数的情况下遍历Pyspark groupBy数据帧吗？例如Pandas中的代码： for i, d in df2:Is there a difference in howto iterate groupby in Pyspark or have to use aggregation and count?
浏览 54提问于2020-01-07得票数 3
回答已采纳
2回答
PySpark列向绑定
pyspark
在PySpark中有什么特定的方法可以像我们在r中那样绑定两个数据帧吗？
我需要在PySpark中同时绑定数据帧和作为一个数据帧。
浏览 1提问于2017-08-30得票数 3
1回答
通过连接比较两个pyspark数据帧
python、dataframe、join、pyspark
我有两个pyspark数据帧，它们的行数不同。我试图通过在多个键上连接这两个数据帧来比较所有列中的值，这样我就可以找到这些列中具有不同值的记录和具有相同值的记录。df1 and df2 on multiple keys
same=df1.join(df2, on=['id','age','sex
浏览 14提问于2021-02-13得票数 0
1回答
将每个二元语法从列表格式移动到Pandas或Pyspark数据帧中的新行
python、pandas、apache-spark、text、pyspark
我有pandas和pyspark数据帧，每天每行都有二元组的列表。我想打破列表，并将每个二元组合移动到一行，计数按降序排列。 如下所示是我拥有的数据帧。我已经按event_dt进行了排序。在“merged”列中，显示了二元语法的列表。例如，“漂亮的相遇”和“相遇后付费”是两个二元语法。双连词的列表每天都在继续... ? 现在，我想要将每个biagram移动到同一日期
浏览 40提问于2020-10-23得票数 0
回答已采纳
1回答
比较两个计数
scala、apache-spark
我有两个计数，一个是数据帧，另一个是输出文件。如果计数不同，我需要比较两者并打印错误 数据帧计数： val dfcount = df.count.toInt 输入计数： import java.io.BufferedReader count+=1} 我需要比较</
浏览 17提问于2019-09-12得票数 0
1回答
如何根据2列比较PySpark中的2个数据帧？
python-3.x、apache-spark、pyspark
在PySpark中，我尝试比较两个常见列的数据帧.Tha数据帧如下所示：aa1 ... ...ab3 ... ...其思想是检查df1是否包含子字符串为df2的行。如果是这样的话，获取这些行。从上面得到的结果是：aa1或者在伪代码中：
df1.filter(df1.col.
浏览 7提问于2018-02-28得票数 0
回答已采纳
1回答
在pyspark的数组列中使用SequenceMatcher
python、dataframe、pyspark
我有一个数据帧，在pyspark dataframe中有一个数组列‘test’，它有3行或更多行。测试-‘hello’，‘地狱’，‘Help’，‘helper’‘sequence’，‘seque’ 如何使用difflib.sequencematcher遍历行的每个元素，如果两个元素的比率小于90%，则在新列中添加两个元素，说明‘test_ratio，如果它大于，则只保留两个元素中的
浏览 11提问于2021-07-18得票数 0
回答已采纳
1回答
窗口上的行数合计
pyspark、apache-spark-sql
在Pyspark中，我试图对数据帧中的所有行执行计数。在Hive上，我可以使用以下命令执行它： count(1) OVER () as biggest_id 然而，在pyspark上，我不确定如何执行它。这是我尝试过的： df_new = () 通常，over参数需要一个窗口语
浏览 18提问于2020-08-19得票数 0
回答已采纳
2回答
PySpark DataFrame中元素的计数
csv、dataframe、pyspark、count
我读过它，使用pyspark并创建了一个数据框架df。sub1,sub2,sub3b,b,a如何获得数据帧df中每列中‘a’的计数？
浏览 2提问于2019-10-07得票数 1
回答已采纳
1回答
动态汇总和重命名PySpark中的聚合列
python、apache-spark、pyspark、apache-spark-sql、data-manipulation
我有一个PySpark数据帧(Df)，其中包含50+列，其中包含一些动态列，这些列可能存在也可能不存在，但它们存在于一个单独的列表(Reqd_col)中。我想对列表(Reqd_col)中存在的PySpark data frame(df)中的那些列进行汇总(按固定列‘region’分组)和汇总总和或计数，汇总列的名称应与列的原始名称相同，而不是PySpark
浏览 24提问于2021-09-08得票数 0
1回答
比较两个用于单元测试的包含浮点数的spark数据帧
python、pyspark、apache-spark-sql
我必须编写单元测试来比较代码的输出，为此我必须比较两个包含浮点数的pyspark数据帧。当我尝试将它们与assetEquals进行比较时，它失败了，指出相应的值不匹配，这主要是浮点比较的问题，我想在这里使用类似np.isclose的东西，但我不确定如何使用，因为np.isclose不适用于我的情况我希望这两个d
浏览 35提问于2019-09-12得票数 2
1回答
使用pyspark比较两个大型数据帧
python-3.x、apache-spark、pyspark、spark-dataframe、rdd
我目前正在做一项数据迁移任务，试图使用pyspark比较来自两个不同数据库的两个数据帧，找出两个数据帧之间的差异，并将结果记录在csv文件中，作为数据验证的一部分。我正在尝试一个性能高效的解决方案，因为有两个原因。大型数据帧和表键是未知<e
浏览 11提问于2018-01-31得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
