groupby的代码优化

文章/答案/技术大牛

发布

1回答

python、python-3.x、pandas

我有下面的代码，它基本上执行一个group by操作，然后是一个sum。grouped = df.groupby(by=['Cabin'], as_index=False)['Fare'].sum()grouped.columns = ['Cabin', 'testCol'] 然后我将“分组的”数据帧与我的原始数据帧合并，以计算聚合。df2 = df.merge(grouped, on='Cabin'

浏览 8提问于2018-02-23得票数 1

回答已采纳

1回答

python中groupby的代码优化

python、pandas、performance

我希望优化一些python代码，但我不确定如何处理这个问题，因为我使用python主要是为了分析数据，而且硬编码技能有限，所以欢迎任何意见。我的数据如下所示： X Y Stock NumberA 30-40 id2'] = df.groupby('y')['total_stocks'].transform('sum') <em

浏览 17提问于2021-10-22得票数 1

回答已采纳

1回答

删除groupby并优化pandas代码

python、pandas

我正在尝试替换for循环，以便在pandas中获得更好的性能。在pandas中使用for循环是性能杀手，请在许多博客中阅读它。现在，我必须应用一些逻辑来设置项目和按emp_id分组。代码块如下所示。现在，下面的代码可以工作，但是抱怨与性能有关。我不能确定删除groupby，有没有其他技术可以让我获得更高的性能？emp_groups = self.df.groupby("emp_id")

浏览 4提问于2020-11-16得票数 0

1回答

熊猫:优化我的代码(groupby() / apply())

pandas

我有一个形状的数据(RxC) 1.5米x128。我所做的工作如下： <df = Read dataframe from file> g = df.groupby(grp_cols) g[nongrp_cols].apply(lambda d: d.apply

浏览 1提问于2015-06-17得票数 11

回答已采纳

1回答

避免重复C#中的Linq组

c#、asp.net-mvc、linq、optimization

我需要优化我的代码。我有些重复的密码。但我想优化它。谁能帮我优化我的代码。我如何才能实现这一通用功能？foreach (var item in hotellocation.GroupBy(x => x).ToDictionary(g => g.Key, g => g.Count()))}

浏览 3提问于2014-09-19得票数 0

回答已采纳

1回答

通过bucketBy实现Spark DataFrame / Dataset groupBy优化

apache-spark、group-by、query-optimization、parquet、bucket

我正在研究一个用例的选项，在这种用例中，我们将数据集存储为拼图文件，并希望稍后在读取数据时对特定键运行有效的groupBy查询。我读过一些关于groupBy优化的文章，但是没有找到太多关于它的信息(除了RDD级别的reduceByKey)。我所考虑的是，如果数据集是由键写成桶的，那么它也将在groupBy中使用。从理论上讲，groupBy是可以优化的，因为包含该键

浏览 61提问于2019-05-18得票数 3

2回答

优化groupBy查询

sql、group-by、mariadb、aggregate-functions

1,2016-01-01,1)，(1,2016-01-02,4)，(1,2016-01-03,3)，(1,2016-01-04,2)id, startDate, endDate上有表A的索引，表B有id, date的索引。A中的行计数约为10K，而B中的行计数为200万。上面的查询大约需要5-6秒才能完成。有人能告诉我一些我可以尝试的东西吗？

浏览 0提问于2018-05-12得票数 0

1回答

Pandas / Groupby /应用优化

python、pandas、pandas-groupby、pandas-apply

我有一段代码试图合并cols。在pandas结构中使用重复的cols名称，基本上我正在尝试做与这篇文章相同的事情：在2600列中，只需要将大约30个cols合并成4个cols，比如从第13到第42列。有没有办法优化链接帖子中提到的代码？也许可以找到一种方法来告诉

浏览 18提问于2020-07-30得票数 0

2回答

Laravel代码优化:在Laravel 8中计算特定项目中的任务数

laravel、collections、count、statistics

如何优化我的Laravel代码？例如，根据任务的状态(已完成、待办、执行)计算特定项目中的任务数。)->get(); $totaltask_doing = $tasks->where('status', "TODo")->groupByreturn $row->count(); $totaltask_todo =

浏览 1提问于2022-03-24得票数 -1

2回答

优化pandas groupby python

python、pandas、optimization、group-by、bigdata

有多个客户端拥有由ID引用的契约。这些客户在特定的时间点填写调查，该时间点由日期(Key_Date)表示。我们有一个dataframe df_result，它包含客户的ID和他们填写调查的日期。我也希望能够在填写日期之前给出一个范围，所以所有独特的产品在过去的一年中一直活跃。因此，即使是11个月前的</em

浏览 8提问于2017-07-25得票数 1

回答已采纳

2回答

EF GroupBy查询优化

c#、entity-framework

我有这样的方法： { }SELECT

浏览 0提问于2014-12-21得票数 5

回答已采纳

2回答

优化Python代码

python、datetime、pandas、optimization、dataframe

我已经编写了以下代码来预处理这样的数据集：school Mon Jul 25 19:04:30 GMT+01:它包含用户参与的位置列表以及开始和结束时间。每个位置可能会出现多次，并且没有全面的位置列表。由此，我希望聚合每个位置的数据(频率、总时间、平均时间)。如何优化代码？编辑:基于有帮助的评论，我不再重复。然而，我仍然希望在可能的情况下进一步优化</

浏览 1提问于2017-01-23得票数 1

1回答

python:熊猫群&应用优化

python、pandas、optimization

我有以下代码：我的df位于较大的一边(大约300000行)，而groupby生成2300个组。对如何优化它有什么想法吗？Python版本: 3.6

浏览 2提问于2017-06-14得票数 1

回答已采纳

2回答

pyspark中的优化

pyspark、aggregate

我正在用pyspark写代码，在那里我正在做过滤，连接，联合，分组操作。但我注意到，在groupby操作之前，count()函数需要9分钟，而在groupby操作之后，count()函数需要35分钟。我需要一些关于如何优化groupby子句以减少处理时间的建议。配置参数: executor内存12g个executors 50个executor核心5个驱动内存40g数据大小约1TBdataframeA = hc.sql("select * f

浏览 3提问于2016-11-28得票数 0

1回答

查看Dataflow如何进行融合优化的最佳方法是什么？

google-cloud-platform、google-cloud-dataflow

我正在尝试优化一个管道，它从PubSubIO中提取消息并将这些消息发送给第三方API。我有一个有趣的观察，如果我在GroupBy之后放置一个PubSubIO.read和一个"Degroup“转换，管道的吞吐量就会显著增加。我添加GroupBy只是为了防止融合优化，现在我想知道如何将转换合并到给定的管道中。在融合之后，找出管道是什么样的最好的方法是什么？

浏览 0提问于2018-08-29得票数 1

回答已采纳

2回答

不包含GroupBy的定义。

c#、visual-studio、func

Func<Areas.RetailShop.Models.FPSinformation, string>> groupingFunction) return queryable.GroupBy，但却出了差错 IQueryable<FPSinformation>不包含“GroupBy”的定义，最好的扩展方法重载ParallelEnumerable.GroupBy<string, int>(ParallelQuery<string&

浏览 3提问于2015-12-16得票数 0

回答已采纳

2回答

C#码优化GroupBy

c#、linq、optimization、foreach、linq-group

下面的代码有几个问题。var groupedItems = inputFiles.GroupBy(q => q.Name.ToLower().Split('_').ElementAt(2)); ErrorFile(groupedItem); }

浏览 1提问于2017-01-17得票数 1

回答已采纳

1回答

熊猫通过尝试优化几个步骤

pandas-groupby

我一直在尝试优化一个bokeh服务器，以便在Covid19上计算选定国家的实时统计数据。我发现自己重复了一个groupby函数来计算新列，并且想知道，在选择了groupby之后，我是否可以以类似的方式将它应用到多列上的.agg()？目前我做这件事的路很长dfall['dpc_cases'] =

浏览 3提问于2020-05-16得票数 0

回答已采纳

2回答

如何优化Spark的groupBy()操作

java、scala、apache-spark

我的问题是关于RDD上的groupBy()操作的选择/优化。我有数以百万计的Message实例，需要基于某些ID进行分组。我使用groupBy()来实现这个目标，但我知道这是一个昂贵的事实，需要大量的处理时间。因此，我尝试了reduceByKey(func)和combineByKey()作为一种替代方案，这是在我所使用的一些资源中提出的，但是它不适合于我的场景，在这种情况

浏览 4提问于2016-11-23得票数 1

回答已采纳

1回答

hive.groupby.skewindata是否依赖于hive.optimize.skewjoin？

hadoop、hive、bigdata、hiveql

根据蜂巢模板：但我不明白hive.gr

浏览 0提问于2018-02-12得票数 2

回答已采纳

点击加载更多