使用DataFrame - Pyspark按组累计求和 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

使用DataFrame - Pyspark按组累计求和

apache-spark、pyspark、apache-spark-sql

= df.withColumn('cum_sum', F.sum('count').over(windowval)).orderBy('date','id').show() 请改正我的代码，我认为在使用

浏览 37提问于2019-11-14得票数 0

回答已采纳

2回答

如果某些值为空，如何在SUM中返回空？

python、apache-spark、pyspark、apache-spark-sql

我遇到过这样的情况:我的列中可能有空值，需要在一个组中求和。如果我在组中遇到null，我希望该组的和为null。但是默认情况下，Pyspark似乎会忽略null行，并对其余非NULL值求和。dataframe = dataframe.groupBy('dataframe.product', 'dataframe.price') \ .

浏览 87提问于2021-01-18得票数 1

回答已采纳

3回答

使用DataFrame按组计算Python Spark累加和

apache-spark、pyspark、spark-dataframe

如何具体使用DataFrame abstraction和PySpark计算每个组的累计总和df = sqlContext.createDataFrame( [(1,2,"a"),

浏览 0提问于2017-08-30得票数 45

回答已采纳

1回答

按条件和组累计求和

26.11.11 20:09 3它需要知道：我应该得到的是。在"rep“行中，B: 8 (4+4)和C: 11 (6+5) (两列)。应答器以延时应答。

浏览 1提问于2014-03-24得票数 0

1回答

如何将DataFrame.withColumn与条件一起使用

apache-spark、dataframe、pyspark

我想知道如何在完整的DataFrame上创建一个新列，但其值仅基于DataFrame的一个子集(即，基于条件应用的某些函数)。在本例中，我希望创建一个列，该列将每个ID与Value列中按ID的正值之和相关联。使用下面的数据集：| ID |Value|| 1 | -4 || 2 | 5 | +-----+对值列求和，但我如何过滤出仅对正值求和？import pyspark</e

浏览 1提问于2019-02-02得票数 0

1回答

R:使用tapply对POSIXct对象进行求和

r、datetime

我试图用一个因子变量对一组POSIXct对象进行求和，但是得到了一个错误，即sum不是为POSIXt对象定义的。但是，如果我只计算平均值的话，它就能正常工作。但是，如何使用按组求出累计的时间呢？

浏览 4提问于2015-08-17得票数 1

回答已采纳

2回答

从Spark GroupedData对象中选择随机项目

python、python-2.7、apache-spark、apache-spark-sql

我刚开始在Python中使用Spark，并且一直无法解决这个问题:在pyspark.sql.dataframe.DataFrame上运行groupBy之后df.groupBy('teamId') 如何从每个结果组(按teamId分组)中选择N随机样本而不进行替换？我基本上是尝试从每个团队中随机选择N用户，也许一开始使用groupBy是错误的？

浏览 0提问于2015-11-17得票数 21

回答已采纳

2回答

星星之火数据(ForeachPartition)：将元素之和

apache-spark、pyspark

我试图在每个分区的火花数据和和元素的划分使用吡咯烷酮。但我无法在被调用的函数"sumByHour“中执行此操作。基本上，我无法访问"sumByHour“中的dataframe列。基本上，我是按“小时”列进行分区，并试图根据“小时”分区对元素进行求和。预期产量分别为: 6,15,24，0,1,2小时。在没有运气的情况下尝试过。from pyspark.sql.functions import * imp

浏览 4提问于2022-01-25得票数 0

回答已采纳

1回答

在Python中从上到第一个组中的累积级联

python、pandas、dataframe

我希望以累积的方式连接数据帧中列中的值。但是，该列将根据另一列中的值进行分区/分组。df['Col_to_cum_Concat']=[y.CUM_CONCAT_TOP.tolist()[:z+1] for x, y in df.groupby('Group_Col')for z in range(len(y))]从最后一排到第一排有更简单

浏览 4提问于2022-01-15得票数 0

回答已采纳

2回答

使用pyspark将键和值列表映射到键值

apache-spark、pyspark

我有一个数据集，它由两个列C1和C2组成，这些列与多对多的关系相关联。(Key ,Value_list[value1,value2,...])如何使用spark来做到这一点？任何建议都会很有帮助。提前感谢！

浏览 3提问于2021-02-25得票数 1

1回答

Pyspark / Spark:删除不包含特定值的组

apache-spark、pyspark、group-by

我需要你帮我回答一个Spark/Pyspark的问题。我有一个火花DataFrame，看起来像这样。我想按<code>D0</code>列对数据帧进行分组。我怎样才能只保留那些至少包含一个<code>D1</code> 'X‘的组呢？这个问题已经用<code>D3</code>函数为Pandas回答了。然而，Pyspark</e

浏览 12提问于2020-03-25得票数 0

1回答

在pyspark中保持至少有一个元素满足条件的组

python、pandas、pyspark

我一直在尝试用pyspark重现一些在Pandas中很容易做到的东西，但我现在已经挣扎了一段时间。2 53 1 195 2 7 和列表 l = [5,1] 我尝试做的是按a进行分组，如果b中的任何元素都在列表中，则为该组中的所有值返回True。然后，我们可以使用结果来索引数据帧。中的可重现数据帧： from pyspark.sql import SparkSession spark = SparkSession.builder.getOrCreate(

浏览 8提问于2020-11-04得票数 2

回答已采纳

2回答

对dataframe中的一列求和，并以int形式返回结果

python、apache-spark、pyspark

我有一个包含一列数字(数量)的pyspark数据帧。我需要对该列(Amount)求和，然后将结果作为一个python变量中的int返回。数据集如下所示：1/1/2013,U2_P1,p@c.com,100,P_Pprint(groupby_revenue)DataFrame[visitdate: str

浏览 2提问于2018-09-20得票数 1

1回答

将事务分组到嵌套模式中

pyspark、spark-dataframe、pyspark-sql

我希望将存储在pyspark.sql.dataframe.DataFrame "ddf“中的事务按列"key”分组，该列指示事务的来源(在本例中为customer )。分组是一个非常昂贵的过程，因此我想在嵌套模式中将组写入磁盘： (key, [[c1, c2, c3,...], ...])

浏览 6提问于2016-05-14得票数 0

回答已采纳

1回答

用户定义对窗口中所有行的函数

apache-spark、dataframe、apache-spark-sql

我有一组带有一组字符串特征ids的时间戳位置数据，这些ids被附加到每个位置。我想使用spark中的一个窗口将当前N行和下一个N行ala的所有这些特征id字符串的数组连接起来：from pyspark.sql.window import WindowwindowSpec = Window \ .orderBy(df(

浏览 2提问于2017-04-13得票数 1

回答已采纳

1回答

Python添加一个id列，该id列根据另一个列值重置。

python、pandas、dataframe

0, node1, 0.8582, node1, 0.9541, node2, 7.640我尝试使用基于节点值的索引我可以使用循环，但这是一个反模式的熊猫。

浏览 6提问于2022-11-30得票数 0

回答已采纳

2回答

使用pySpark迭代每一行数据帧

python、dataframe、iteration、pyspark、spark-dataframe

我需要使用dataframe来迭代pySpark，就像我们可以使用for循环迭代一组值一样。下面是我写的代码。这段代码的问题是 from pyspark.sql.functions import * from pyspark.s

浏览 2提问于2017-01-30得票数 3

3回答

PySpark DataFrame上分组数据的熊猫式转换

python、pandas、apache-spark、pyspark、apache-spark-sql

DemeanedValues"] = df.groupby("Category")["Values"].transform(lambda g: g - numpy.mean(g)) 据我所知，不直接提供这个按组/转换操作(我在Spark1.5.0上使用PySpark )。据我所知，每个类别都需要对DataFrame进行全面扫描。我认为(但尚未验证)，如果我将组的结果收集到字典中，然后在UDF中使用该字典，我可以

浏览 8提问于2015-12-25得票数 19

回答已采纳

1回答

在应用pandas udf: IndexError后不能使用.toPandas()或.collect()

python、pandas、pyspark、user-defined-functions

我正在使用pandasUDF将标准的ML python库应用于pyspark DataFrame。在定义了模式并进行了预测之后，我得到了pyspark DF作为输出。现在，我想用这个预测数据帧做一些事情，例如，我尝试对列"weekly_forecast_1“中的所有值进行求和。many indices for array:array is 0-dimensional, but 1 were indexed 每当我尝试将.collect()或.toPandas()方法应用于整个DataFr

浏览 33提问于2020-11-24得票数 0

1回答

pandas数据帧内按组划分的子集数据

python、pandas

我需要使用组和三个条件规则来子集数据帧。如果在一个组中，Value列中的所有值都为none，我需要保留该组的第一行。如果在一个组中，Value列中的所有值都不是none，我需要保留所有值。如果在一个组中，Value列中的一些值是none，而其他值不是none，我需要删除其中有none的所有行。列Region和ID一起定义了数据帧中的唯一组。我的第一种方法是将数据帧分成两个块。第一个块是行，其中对于一个组，所有的行都是空值。第二块就是其他所有的东西。对

浏览 12提问于2019-05-29得票数 0

回答已采纳

点击加载更多