我有一个包含列id (date_from)和price的Spark数据帧。为此，我已经尝试过：aggregate = ["price"]exprs = [f(col(c)) for f in funsfor c in aggregate]还有：
df = df.groupby<
浏览 17提问于2021-03-10得票数 0
回答已采纳
1回答
我必须计算3个字段，max、me和avg，但是avg需要与sql中的avg(distinct(vl))等效，如何在一个pyspark中实现这一点？df = df1.groupBy("cd","name")\min(col("tx_vl&
浏览 1提问于2022-09-01得票数 0
回答已采纳
我有一个包含2列(CPID和PluginDuration)的spark数据帧。我需要找到数据帧中每个CPID的最大pluginDuration和平均pluginDuration。AN04773| 13.03444444||AN04773| 20.50027778|
+-------+--------------+ 当我在dataframe的PID列上执行groupBy以查找如下所示的max和<
浏览 47提问于2021-11-01得票数 1
回答已采纳
1回答
在Pyspark中，我需要按ID分组并创建四个新列(min，max，std，ave)。("Date").cast('long')).rowsBetween(-4, 0))
.withColumn('hr1_ave', F.avg("rpm(w))\
.withColumn('hr1_max', F.max("rpm").over
浏览 23提问于2020-09-22得票数 1
回答已采纳
1回答
我试图在GroupedData 2中计算PySpark对象的方差，而在中，我没有看到任何用于计算方差的内置函数。from pyspar
浏览 3提问于2017-10-21得票数 0
回答已采纳
我有一段python代码，它在本地运行在一个pandas数据帧中： .groupby('A').apply(lambda x: myFunction(zip(x.B, x.C), x.name))sparkDF .agg(my
浏览 1提问于2016-10-13得票数 43
2回答
我有一个流数据，我想在一些列上计算min和avg。|20 | 51 |我想我应该使用Scala元组来实现它，但这似乎行不通：
val res = List("1","2").map(name => (m
浏览 0提问于2019-01-28得票数 1
回答已采纳
1回答
I对行程进行分组，然后计算出平均行程比率。trip rate是通过获取具有相同起始和结束is的所有行程计算得出的，在我的示例中，startID 1和endID 3总共有2次行程，这两次行程的平均trip_distance为2.5，平均total_amountfrom pyspark.shell import spark
from pyspark.sql.functions import av
浏览 153提问于2020-10-06得票数 1
回答已采纳
我有一个函数可以计算整个数据帧的preds和actuals的RMSE： def calculate_rmse(df, actual_column, prediction_column): "RMSE", RMSE(F.col(actual_column), F.col(prediction_column)) rmse = df.select(F.avg("RMSE") ** 0.5).collect()
浏览 33提问于2020-04-13得票数 1
回答已采纳
2回答
我有一个星星之火DataFrame，我想在groupby之后为一个变量计算唯一值的数量。在熊猫中，我可以从以下网址获得：df.groupby('UserName').apply(lambda x: x['Server'].nunique())
如果df是一个pyspark，我如何才能得到相同的结果
浏览 4提问于2017-11-08得票数 4
回答已采纳
1回答
目前，我正在与PySpark一起分析一些数据。我有一个CSV文件，里面有工资数据。我想知道哪份工作的薪水最好。要做到这一点，我需要中位数()，因为我想知道平均值。groupBy的方法有：agg，avg，count，max，mean，min，pivot，sum。当我尝试.mean()方法时，如下所示：
mean_pay_data = reduced_data.groupBy("JOB_TITLE").mean("REGULAR_PAY&quo
浏览 7提问于2022-10-11得票数 -1
回答已采纳
3回答
从数据帧中获取价值
、、、
在Scala中，我可以使用get(#)或getAs[Type](#)从数据帧中获取值。在pyspark中我应该怎么做呢？我有一个两列的DataFrame：item(string)和salesNum(integers)。我做了一个groupby和mean来获得这些数字的平均值，如下所示：而且它是有效的。现在我
浏览 2提问于2016-06-28得票数 21
回答已采纳
假设我有一个大的数据集，下面是它的缩写部分Healthy,4.5044,0.7443,6.34,1.9052Patient,5.7422,0.8862,5.1013,0.9402我知道最简单的方法是在pyspark中使用df.describe().show()，但是如何在pys
浏览 7提问于2022-01-15得票数 0
5回答
我有三个字符串类型数组，包含以下信息：
操作数组:包含我要执行的聚合操作。Spark数据帧提供了一个agg()，您可以在其中传递一个Map 作为输入，但是我希望对数据的同一列执行不同的聚合操作。对于如何做到这一点，有什么建议吗？
浏览 8提问于2016-01-22得票数 40
回答已采纳
1回答
多列上的多聚合
、、
我使用Python在Pyspark框架中。我试图使用groupby在不同的列上应用不同的聚合。我有一个包含col1、col2、col3、col4列的df，我想做这样的事情：df.groupby("col1").sum("col2", "col3").avg("col4")
但是我发现了一个错误："/u
浏览 4提问于2019-09-27得票数 0
回答已采纳
1回答
我使用的是Spark 1.5.2和Python 2.7.5。我在pyspark repl中运行了以下代码：ctx = SQLContext(sc)
funs = [(count,"total"),(avg,"cr")]
aggregate = ["conv
浏览 16提问于2017-02-06得票数 0
回答已采纳
1回答
09/2016||MLA-605502281|02/09/2016|我想按sku分组，然后计算最小日期和最大日期如果我这样做： .agg({'date': 'min', 'date':'max'}) \
浏览 0提问于2016-10-27得票数 20
回答已采纳
在我通过使用窗口和对一组列进行分区来计算pyspark dataframe中每行5行内的平均数量之后 from pyspark.sql import functions as Fconsecutive_df = prep_df.withColumn('aveg', F.avg(prep_df['q
浏览 14提问于2020-06-19得票数 0
回答已采纳
1回答
我需要在我的PySpark代码中对一个大型数据集进行大量的聚合(大约9-10个)。我可以通过两种方式来实现：df.groupBy(col1, col2).agg({"col3":"sum", "col4":"avg", "col5":"min", "col6":"sum", "col7":&q
浏览 0提问于2018-01-25得票数 2
2回答
我有一个数据集，在该数据集中，我将按多个变量分组，使用PySpark计算每个用户ID的最大值和平均值的中位数，如下所示：df = spark.read.parquet").agg(F.max("value")) F.max("val
浏览 21提问于2022-01-10得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
