PySpark按多个时间窗口分组

文章/答案/技术大牛

发布

1回答

python、dataframe、apache-spark、pyspark、apache-spark-sql

我知道我们可以按df.groupBy('col1,'col2','col3')对多个列进行分组，我认为这种分组意味着它首先按col1分组，对于col1的每个成员，它按col2分组，依此类推。如果这是错误的，请纠正我，我昨天基本上是从PySpark开始的，因为一个大学项目。我需要按4个成员对数据进行分组:2个字符串列和2个时间窗口。'col

浏览 15提问于2021-02-17得票数 1

2回答

pyspark是否支持窗口函数(例如first、last、lag、lead)？

apache-spark、pyspark

pyspark是否支持窗口函数(例如first, last, lag, lead)？例如，如何按一列分组并按另一列排序，然后按SparkSQL或数据框选择每个组的第一行(这就像窗口函数一样)？我发现pyspark.sql.functions类包含聚合函数first和last，但它们不能用于groupBy类。

浏览 2提问于2015-03-24得票数 3

1回答

分组依据列表中的元素

python、pyspark、pyspark-sql

我是PySpark的新手。我创建了spark dataframe，并且我有一个" countries“列，其中包含国家列表。

浏览 4提问于2019-10-09得票数 0

1回答

PySpark -聚合还是按多个键缩减？

apache-spark、pyspark

我有一个具有以下元组格式的RDD：我只想按(a, (b,c))和d进行分组，如下所示：在pySpark中如何按多个键分组?

浏览 6提问于2017-12-19得票数 0

1回答

如何使用pyspark按小时获取x最频繁的位置？

python-3.x、apache-spark、pyspark、data-analysis

我有一个spark数据帧，包含一天中的小时数、locationID和频率。频率是指locationID在一天中的某一小时内出现的次数。|hour|locationID|frequency|| 0 | 1 | 20 || 0 | 9 | 6 || 1 | 1 | 22 | | 1

浏览 4提问于2019-07-09得票数 0

回答已采纳

1回答

PySpark:如何使用窗口函数按固定日期范围和另一列来计算值列的和？

python、apache-spark、pyspark、apache-spark-sql、pyspark-sql

我想按日期范围分组(其中每个范围的持续时间从数据中的第一个日期开始起为7天)和项，并计算由日期范围(实际周号)和项定义的每个此类组的值的总和。我怀疑PySpark的窗口函数在某些时候应该被用于日期范围，但是在这种情况下无法找到实现它们的方法。

浏览 1提问于2019-03-27得票数 2

1回答

比较2种pyspark dataframe列和基于它的另一列的更改值

pyspark

我遇到了一个问题，我从我编写的图形算法中生成了一个数据帧。问题是，在每次运行图形代码之后，我希望基本组件的值基本保持不变。df = spark.createDataFrame( (1, 'A1'), (1, 'A3'), (2, 'B2'), (4, 'C1'),

浏览 4提问于2020-01-14得票数 0

1回答

在执行"groupBy()“时，多个吡火花"window()”调用显示错误

python、apache-spark、pyspark、apache-spark-sql

.cast("struct<start:bigint,end:bigint>") 错误是： “多个时间窗口表达式将导致行的笛卡儿积

浏览 0提问于2019-01-21得票数 4

回答已采纳

1回答

PySpark:根据观察顺序分组类型的编号分组

group-by、pyspark

4|| 14| c| 4|from pyspark.sql.types import IntegerType import pyspark.sql.functions]], schema=['order

浏览 12提问于2019-04-20得票数 2

回答已采纳

1回答

基于窗口和滑动区间索引的Pyspark数据聚合

apache-spark、pyspark、spark-structured-streaming

我目前遇到了一个问题，我想在我的csv上使用窗口和滑动间隔，并对每个窗口执行数据聚合以获得最常见的类别。但是，我没有时间戳，我想在索引列上执行窗口滑动。有谁能告诉我如何在索引上使用窗口+滑动间隔的正确方向吗？简而言之，我想在索引列上创建windows+intervals。

浏览 1提问于2021-07-10得票数 0

1回答

火花放电中多个groupBy的链接

python、pyspark、rdd

1 | 10 | B | E 1 | 7 | A | Gdf.rdd.groupBy(lambda x: x['id']).mapValues(list).collect() [(id=

浏览 0提问于2018-05-03得票数 2

回答已采纳

2回答

在没有自定义函数的情况下，如何在PySpark上将多个数组的交集处理成单个数组？

apache-spark、pyspark、apache-spark-sql

我有以下代码：('g1', 'a', 1), ('g1', 'a', 2), ('g1', 'b', 1), ('g1', 'b', 3),]

浏览 16提问于2021-02-15得票数 0

回答已采纳

1回答

Spring与spring batch集成

spring、spring-integration、spring-batch

请让我知道，当我将5个文件放在一个目录中，5条消息由轮询器生成，我希望spring batch作业只被触发一次，而不是5次，如果文件在一起，比如在1分钟的持续时间内。有可能吗？

浏览 7提问于2018-01-24得票数 0

2回答

带有groupby的pyspark collect_set或collect_list

list、group-by、set、pyspark、collect

在groupby之后，如何在数据帧上使用collect_set或collect_list。例如：df.groupby('key').collect_set('values')。我得到一个错误：AttributeError: 'GroupedData' object has no attribute 'collect_set'

浏览 2提问于2016-06-02得票数 62

回答已采纳

1回答

我一直在尝试用pyspark重现一些在Pandas中很容易做到的东西，但我现在已经挣扎了一段时间。12,5,1,19,2,7]}) a b1 2 53 1 195 2 7 和列表 l = [5,1] 我尝试做的是按a进行分组，如果b中的任何元素都在列表中，则为该组中的所有值返回True。与此相对应的Pandas是： df[df.b.isin(l).groupby(df.a).transform('any&#x

浏览 8提问于2020-11-04得票数 2

回答已采纳

1回答

Pyspark pyspark.sql.functions行为怪异

apache-spark、pyspark、aggregate、pyspark-sql

当我们有超过3个节点来分发数据时，pyspark.sql.functions下的"last“函数在spark上返回不一致的结果。from pyspark.sql.types import DoubleType numeric = sqlContext.createDataFrame

浏览 1提问于2017-02-02得票数 1

1回答

按时间间隔按Pyspark数据帧分组

python、pyspark

我有一个为其生成了timestamps的数据框架：[x,"%Y%m%d_%H%M%S")但现在我需要按6小时的间隔进行分组每小时大约是 df_data.groupby(hour(df_data.datetime)).agg(count(ship)

浏览 7提问于2016-08-25得票数 3

1回答

SSRS在线格式化多条记录

reporting-services、format

我有一个员工数据库表，其中包含每个员工上班或休息的时间。约翰·西尔：| BreakOut |2012.10-11/2020 12:30 PM我希望将这些记录分组在一行中

浏览 1提问于2020-12-18得票数 0

2回答

在partitionBy和orderBy之后，如何分组？

apache-spark、pyspark

我有一个包含事件的(Pyskem2.2.0)，每个事件都有一个时间戳。还有一个额外的列包含一系列标记(A、B、C或Null)。我想计算每一行-按事件组，按时间戳排序-计算当前最长的非空标记更改范围的计数(Null应将此计数重置为0)。---> first non Null tag starts the count在Pyspark中，我可以定义如下所示的窗口： window = Wi

浏览 0提问于2018-10-15得票数 0

回答已采纳

3回答