这是我的输入数据帧：1 Y2 a3 Nid val 2 a 3 N
我想在val中同时包含Y和N的列id上进行分组，然后删除val列包含"N“的行。请帮我解决这个问题，因为我是pyspark的初学者。
浏览 7提问于2018-09-06得票数 2
回答已采纳
8 | 3258958304 |+----+-------+-------+--------------++----+-------+-------+-----------+| 5 | steve | 9 | 124324234 |
+----+-------+---
浏览 1提问于2018-06-19得票数 1
回答已采纳
1回答
我有一个在字段(列)上分组的PySpark DataFrame，其目的是消除每个组的记录，这些记录具有另一个字段的特定值。因此，例如，表看起来就像'a' 1'a' 0这里我想要的是删除有一个重复的colA和colB为0的记录，这样就可以获得colA
浏览 3提问于2016-03-09得票数 0
回答已采纳
1回答
我试图使用groupBy和sum (使用PySpark 1.5)在中创建一个新列(“PySpark”)。我的数字列已被转换为长列或双列。用来形成groupBy的列是字符串和时间戳。我的代码如下
df= df.withColumn("newaggCol",(df.groupBy([df.strCol,df.tsCol]).sum(df.longC
浏览 2提问于2016-03-07得票数 2
回答已采纳
我在pyspark脚本中执行df.groupBy().apply()，并希望创建一个自定义列，该列将我的所有行分组到N(尽可能均匀，所以行/n)组中。这就是为什么我可以确保每次脚本运行时发送到我的udf函数的组数。 我如何使用pyspark来做这件事？
浏览 32提问于2020-07-21得票数 0
回答已采纳
当我用groupBy()替换spark数据帧上的distinct()时，我在我的pyspark代码中看到了很大的性能改进。但是我不能理解背后的原因。整个意图是从数据帧中删除行级重复项。我尝试在谷歌上搜索groupBy()和distinct()在pyspark中的实现，但没有找到。
有没有人能给我解释一下或者给我
浏览 0提问于2018-09-11得票数 6
我想根据另一列的条件在一列中求和值。当条件存在时，我可以这样做，但如果条件不存在，我会得到一个错误。我需要这样做才能接受这个条件不存在，然后继续下一步。5 Hadoop 25000 35days7 Python 22000 50days
对于这个例子，我想把所有有“55天”的行的费用加在一起duration
浏览 4提问于2022-07-22得票数 0
描述：“如何用平均、按条件分组数据和按Pyspark中的模型列来填充价格列中缺失的值?我的python代码如下:cars['price'] = np.ceil(cars['price'].fillna(cars.groupby(['condition', 'model' ])['price错误：我尝试了不同的代
浏览 2提问于2021-12-01得票数 2
回答已采纳
1回答
多列上的多聚合
、、
我使用Python在Pyspark框架中。我试图使用groupby在不同的列上应用不同的聚合。我有一个包含col1、col2、col3、col4列的df，我想做这样的事情：df.groupby("col1").sum("col2", "col3").avg("col4")
但是我发现了一个错误："/u
浏览 4提问于2019-09-27得票数 0
回答已采纳
如果某一列中的值小于10，我希望删除数据帧中的行。使用dataframe2.groupby('category_id').Description.count()，我可以列出数据帧中的项，这很好用。现在我想删除值小于10的行。
我试图创建一个条件，以便删除行，但这不起作用。if datafra
浏览 3提问于2019-08-07得票数 0
accountname字段组成的groupby中，我需要根据每个accountname中的clustername字段进行过滤，这样做如下:当clustername中的行对每个accountname有超过1个条目时，删除namespace = infra的行，如果clustername中的行在其accountname中只有一行，则
浏览 20提问于2021-03-04得票数 0
回答已采纳
以下pyspark命令 df = dataFrame.groupBy("URL_short").count().select("URL_short", col("count").alias("NumOfReqs+---------+|http4 | 500 ||http3 | 500 | 在原始的DataFrame dataFrame<
浏览 19提问于2018-12-18得票数 1
回答已采纳
2回答
你好，我想实现这样的目标我的数据如下：flightData2015.selectExpr("*").groupBy("DEST_COUNTRY_NAME").orderBy("count").show()
我收到了这个错误Pyspark的
浏览 4提问于2022-03-01得票数 0
回答已采纳
我希望按一列分组，然后找到另一列的最大值。最后，显示基于此条件的所有列。然而，当我使用我的代码时，它只显示2列，而不是所有列。# Normal way of creating dataframe in pyspark (2,2,'0-2spark.createDataFrame([
(4,6,'4-
浏览 0提问于2020-01-19得票数 0
回答已采纳
我一直收到错误“TypeError(”条件应该是字符串或列“)” 我已经尝试更改滤镜以使用col对象。尽管如此，它还是不起作用。path = 'dbfs:/FileStore/tables/TravelData.txt'from pyspark.sql.types importimport col
answerthree = df.select("toLocation").groupBy(&qu
浏览 21提问于2019-02-02得票数 0
回答已采纳
1回答
我有以下条件，如果组的最后一行不等于列结果的'no‘，则删除该组的最后一行： m1 = df.groupby(['id'])['outcome'].tail(1) != 'no' 然后，我使用此条件从数据帧中删除以下行： df = df.drop(m1[m1].index) 然而，我不知道如何做相反的
浏览 10提问于2021-11-21得票数 1
回答已采纳
这是一个网络日志数据集，所以我尝试获取行的唯一IP，其中URL包含字符串"robots.txt“，然后如果应用此条件，则从dataframe中删除唯一IP的行。len(robots[['ip']].drop_duplicates())
但在那之后，我不知道如何从dataframe中删除</
浏览 2提问于2021-03-13得票数 0
我正在尝试构建一种快速Pandas方法，用于在满足某些条件时从Dataframe中删除某些行。具体来说，如果该行中的其他值等于0，则我希望删除dataframe中某些变量的第一个匹配项。，我想查看第一行，如果该行中的'bar’值= 0，则将其从dataframe中删除。当这个条件满足时，我可以使用<e
浏览 4提问于2020-02-10得票数 2
回答已采纳
我正在将一个pySpark实现迁移到Pandas。为了转换大型数据集，我使用了dask包。pySpark实现： df.groupBy('Key').agg(collect_set('ColumnA').alias('Items'), collect_set('ColumnB').alias('DocumentId')) 到Pandas df.groupby("Key")[['ColumnA&#x
浏览 31提问于2021-08-16得票数 0
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
