我有一个数据帧(testdf)，希望在另一列(booking/rental)不为null或非空(即“”)的列(memid)上获得计数和非重复计数。testdf100 Y 120 Y预期结果：(对于预订列不为空/非空)= ""
在PySpar
浏览 44提问于2018-06-05得票数 0
1回答
列的PySpark非重复计数
、、、、
我有一个PySpark DataFrame，如下所示： +------+-----------++------+-----------+|B |2020-06-20 ||D |2020-06-21 |
+------+-----------+ 我想检索每个不同IP地址的计数，这些IP地址被分解为每天看到的不同IP地址的数量。，因为它将DF拆分成时间窗口，并获得每个时间
浏览 21提问于2020-08-04得票数 0
回答已采纳
我试图让pyspark.sql.functions.count()函数或pyspark.sql.functions.count_distinct()函数在计算列中不同元素的数量时考虑null值。让我给出以下可重复的示例，为此我需要创建一个数据集：df = spark.createDataFrame([(1,"arun","engineering",从我的研究来看，这似乎与count_d
浏览 12提问于2022-06-07得票数 0
我是PySpark的新手。我只想保留至少有10个值的列现在如何提取值小于10的列名，然后在写入新文件之前删除这些列
df = spark.read.parquet(file
浏览 1提问于2019-09-28得票数 1
尝试在连接hdfs表后删除pyspark df中的重复列名称？ 您好，我正在尝试连接多个具有200+最终列数的数据集。由于要求和大量的列，我不能在连接时选择特定的列。有没有办法在连接后删除重复的列。我知道有一种方法可以通过spark df的.join方法来做到这一点，但是我加入的基表不是spark df，并且我正在试图避免在join之前将它们转换
浏览 20提问于2018-12-20得票数 1
1回答
我想检查该列中的所有值是否都为空，如果为空，则从数据帧中删除该列。
我所做的是检查具有非空值的列的计数，如果count等于0，则删除该列，但在pyspark中这似乎是一个开销很大的操作
浏览 0提问于2019-08-09得票数 0
我有一个有两个列的DataFrame，id1, id2，我想要得到的是计数，这两个列的不同值的数量。本质上这是count(set(id1+id2))。
我怎样才能用PySpark做到这一点呢？请注意，，这不是一个重复的，因为我希望PySpark计算count()。当然，获得两个列表id1_distinct和id2_distinct并将它们放到set()中是可能的，但在我看来，在处理
浏览 11提问于2021-05-16得票数 0
回答已采纳
1回答
给定一个星星之火数据，有一个重复的列名(例如。( A)对于不能修改上游或源的，如何选择、删除或重命名其中的一个列，以便检索列值？df.select('A')向我显示了一个不明确的列错误，filter、drop和withColumnRenamed也是如此。如何选择其中一列？
浏览 0提问于2018-09-06得票数 2
如何从另一列输入array_repeat函数计数值：>>>dftmp = spark.createDataFrame([('ab-----++----+------------++----+------------+
是否有一种方法可以根据另一列使用重复计数值
浏览 8提问于2020-05-21得票数 1
回答已采纳
我在A列中有一个重复行的DataFrame，其值在B列中有差异| Column A | Column B || APPLE |BANANA | RED || BANANA | GREEN |我想在B栏中单独计数可以使用PySpark或SQL。
浏览 9提问于2022-11-16得票数 0
回答已采纳
2回答
我有一个包含空值的dataframe： (125, '2012-10-10','tv'), (40, '2012-10-10( None, '2012-10-10','tv')]
我需要
浏览 1提问于2018-02-06得票数 3
回答已采纳
2回答
两列的非重复计数
、、、
我一直在四处寻找，但找不到一个明确匹配的问题的答案。734917 273003002 2891624 273003002 3Category Count 273003002 2
谢
浏览 1提问于2013-09-07得票数 2
1回答
我有一个具有重复和非顺序I的pyspark。我想添加一个序列id列，即下面的第二列1 |17 |33 |2window = Window.orderBy(col('iddf.select('id').distinct().withColumn('seq', F.row_number().over(window))
df.join(df1, on
浏览 2提问于2020-06-08得票数 2
回答已采纳
合同类型:结束日期: Yamaha Active 2019年1月1日铃木Active 2014年1月1日日产Active 2018年1月1日欧宝残疾人2020年1月1日奔驰残疾人2013年1月1日
合同类型列中标记为有效且列终止日期显示的日期晚于当天的合同合计(非重复计数)。因此，如果今天的日期是2017年1月1日，那么总的非重复计数应该是2(雅马哈和日产)。您能帮助提供正确<em
浏览 1提问于2017-01-18得票数 0
假设我在PySpark中的数据文件如下所示：--------------------cat1 | A | dogB | catcat2 | A | catcat1 | B | dog
我想分组猫，以便我可以计数不同的字母和宠物这意味着，如果这两列对于特定的猫是相同的-有重复
浏览 2提问于2020-06-29得票数 0
回答已采纳
在PySpark和Synapse数据流中，我遇到了非常奇怪的错误。 )这是我所知道的堆栈跟踪：
浏览 3提问于2021-11-25得票数 0
列中有重复项。我需要一个单独的列，它显示有重复的记录。然后我需要一个切片过滤器，它只显示一次记录，并将它们标记为非重复的，rest作为重复的。有一个名为concat_username_userinvoice的列(我为这2列执行了串联函数)。现在，我检查了使用此公式多次发生的记录，如下所示
CALCULATE(COUNT(
浏览 2提问于2022-11-28得票数 0
1回答
"Book", "B", 7, "Game",但是现在我想添加一个新的列，它显示每个商店的分类数量，并希望保留所有其他列。以下是所需的结果： ~shop_name, ~product_id, ~category, ~num
浏览 9提问于2019-11-18得票数 0
回答已采纳
我想要实现一个有状态的ML应用程序，它不会用一个小部件重新运行每一个无畏的动作。除了步骤4的默认选择外，当我选择一个新变量时，整个脚本将重新运行。只有我在第四步中与之互动的内容，请帮助我。import pandas as pdimport matplotl
浏览 7提问于2021-11-18得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
