腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
如何
快速
按
大型
稀疏
数据
帧
分组
?
python
、
pandas
、
numpy
、
group-by
、
dask
我有一个两列的
数据
帧
,我把它热编码成一个
稀疏
的
数据
帧
(因为它超出了我的系统内存)。问题是,当我尝试
分组
时,它需要花费很长时间。我的目标是
按
列
分组
,这样我就可以获得出现次数的聚合视图,例如,如果用户在两个类别中,它们应该显示一次,两个类别都设置为true,而不是为每个类别为用户显示两行(这是get_dummies的当前输出)。best of 3: 1.95 s per loop1 l
浏览 12
提问于2020-12-29
得票数 1
回答已采纳
2
回答
使用groupby.sum()对
大型
稀疏
熊猫
数据
帧
进行
分组
非常慢
python
、
pandas
、
group-by
、
sparse-dataframe
我有(607875, 12294)大小的熊猫
数据
帧
。
数据
是
稀疏
的,如下所示:0 abc 0 0 1 ...2 abc 0 0 1 ...dataframe = dataframe.to_sparse()dataframe = dataframe.groupby
浏览 2
提问于2020-03-11
得票数 1
1
回答
SparseSeries列表的pandas内存使用情况
python
、
numpy
、
pandas
、
scipy
我正在尝试从一个
稀疏
的numpy矩阵创建一个SparseSeries列表。创建lil_matrix很快,并且不消耗大量内存(实际上,我的维度更多的是数百万,即1500万个样本和400万个特征)。从表面上看,熊猫SparseSeries并不是真的
稀疏
,还是我做错了什么?最终目标是在此基础上创建一个SparseDataFrame (就像在我提到的其他主题中一样)。
浏览 1
提问于2015-05-21
得票数 1
4
回答
按
十年划分的熊猫
数据
帧
组年份索引
python
、
pandas
假设我有一个以索引作为每月时间步长的
数据
帧
,我知道我可以使用dataframe.groupby(lambda x:x.year)将每月
数据
分组
为每年,并应用其他操作。有没有什么方法可以让我
快速
对它们进行
分组
,比如说
按
十年? 谢谢你的任何提示。
浏览 2
提问于2013-07-21
得票数 13
0
回答
如何
在Pandas中创建
稀疏
布尔掩码?
pandas
、
numpy
、
sparse-matrix
,但过滤结果掩码是
稀疏
的。当具有
大型
数据
帧
( 50mio行*100列)时,以全布尔值存储掩码会消耗大量内存。因此,由于掩码结果非常
稀疏
(0.1%为真),所以想知道是否有一种方法可以使用
稀疏
布尔掩码而不是数组掩码来减少内存负载……mask_sparse = pd.SparseArray(mask) 编辑2:澄清问题:我们可以直接将过滤结果掩码放入一
浏览 6
提问于2017-01-11
得票数 2
3
回答
在Pandas中
按
一天的小时对
数据
帧
进行
分组
python
、
pandas
我的目标是
按
一天中的小时对
数据
进行
分组
,对每组中的行的“flow”列求和,然后将其除以60。但我在按小时
分组
我的
数据
时遇到了一些困难。下面是我的
数据
帧
(超过150.000行)的样子:https://i.stack.imgur.com/i51V2.png 我尝试使用以下代码: import pandas as pdgroup
浏览 89
提问于2020-07-05
得票数 0
回答已采纳
2
回答
什么是绘制
大型
数据
集(1M +)的好策略?
javascript
、
redis
、
elasticsearch
、
d3.js
我刚刚开始解决这个问题,我想要允许用户任意选择范围和过滤器,允许他们在网页上绘制
大型
数据
集(实际上,它永远不应该超过1000万个
数据
点)。我使用elasticsearch作为存储和聚合
数据
的方法,使用redis跟踪汇总
数据
,是我的图形库。 我认为最好的解决方案是在不同的
分组
中进行预先计算的摘要,这些摘要可以用于绘制图表。因此,如果
数据
点存在几年,我可以按月和日进行
分组
(我无论
如何
都会这样做),但然后
按
半天、季度、小时
浏览 1
提问于2012-01-21
得票数 3
回答已采纳
1
回答
在给定行上遇到特定值时的Dataframe groupby
python
、
pandas
、
dataframe
、
group-by
我有一个
数据
帧
,我想对它进行
分组
(或切片)。A和列B上的
数据
帧
进行
分组
,然后,将每个
分组
按
某个值进一步划分为具有连续行的较小
分组
。例如,在按列A和列B对
数据
帧
进行
分组
后,每当我在列C中遇到0时,我希望在第三级上优化
分组
。因此,
分组
的
数据
帧
如下所示a b 1 a b 1
浏览 3
提问于2017-02-04
得票数 2
1
回答
pandas
数据
帧
到scipy
稀疏
矩阵的高效转换
python
、
pandas
、
dataframe
、
scipy
、
sparse-matrix
我正在尝试将pandas Dataframe转换为scipy
稀疏
矩阵,以此作为有效使用许多功能的一种方式。
浏览 12
提问于2020-10-19
得票数 1
回答已采纳
1
回答
如何
对多个列进行
分组
和求和?
pandas
、
sum
我有一个包含多个列的
大型
数据
帧
,其中包含字符串、数字等。我尝试
按
场景
分组
,然后仅对2020到2050年之间的列进行求和。
浏览 0
提问于2018-10-10
得票数 1
1
回答
Scipy中元素重复的
稀疏
矩阵
python
、
scipy
、
sparse-matrix
我有一个n维的三角形
稀疏
矩阵,其中唯一出现的系数是c_1,c_2,...c_n,在矩阵中单个系数至多有n次重复。
浏览 2
提问于2020-05-20
得票数 0
1
回答
MS Project 2013任务使用情况跳跃
ms-project
、
arrow-keys
在Excel中,您可以使用CTRL键和箭头键从当前单元格跳转到包含
数据
的下一个单元格,从而真正高效地跳过填充
稀疏
的
大型
工作表。在MS Project中是否有类似的功能,例如,在任务使用情况视图中,可以
快速
跳转到包含
数据
的日期。
浏览 13
提问于2017-08-02
得票数 1
3
回答
对
数据
帧
进行
分组
并获取特定组
r
、
dataframe
、
grouping
将
数据
帧
分组
并能够通过组密钥将组作为
数据
帧
获取的最佳方法是什么?例如,
如何
按
日期
分组
,然后获取特定日期的记录?基本上相当于熊猫中的get_group function。
浏览 7
提问于2021-08-10
得票数 0
回答已采纳
1
回答
多列
数据
帧
的不同聚合
python
、
pandas
、
group-by
、
pandas-groupby
、
aggregate-functions
我正在寻找一些捷径,以减少手动
分组
所需的: 我有一个有很多列的
数据
帧
。当
按
“Level”对
数据
帧
进行
分组
时,我希望使用onward()对两列进行
分组
,但对所有其他列(大约60列,表示2021年以后的年份)使用mean()进行
分组
。 有没有人知道
如何
定义“其余的”列?
浏览 8
提问于2021-09-29
得票数 1
1
回答
分组
列表中的
数据
框列
python
、
pandas
、
pandas-groupby
我有一个
数据
帧
,看起来像这样: | id | A | B | C | D || 2 | 70 | 71 | 72 | 73 || 1 | 90 | 91 | 92 | 93 | | 2 | 40 | 41 | 42 | 43 | 我想
按
“id”列对其进行
分组
,以便每一行都以列表的形式存在列表的长度取决于初始
数据
帧
中该id的记录数。df.groupby(['i
浏览 20
提问于2021-10-21
得票数 0
回答已采纳
2
回答
按
字段
分组
,并将值合并到一行中。
python
、
pandas
我想知道
如何
按
字段对
数据
帧
进行
分组
,然后将组连接到一行中,优先处理非空值。这是一个
按
ID
分组
的示例:
浏览 3
提问于2016-04-21
得票数 4
回答已采纳
6
回答
如何
在非唯一列中
按
日期对pandas DataFrame条目进行
分组
python
、
pandas
我可以使用以下命令对此
帧
中的线条进行
分组
:但是,这将
按
datetime值拆分
数据
。我想
按
“日期”列中存储的年份对这些
数据
进行
分组
。展示了
如何
在将时间戳用作索引的情况下
按
年
分组
,但在我的例子中并非如此。
如何
实现此
分组
?
浏览 1
提问于2012-07-09
得票数 94
回答已采纳
1
回答
在python中加速指数移动平均
python
、
pandas
我发现pandas ewm在处理海量
数据
时运行非常慢。有没有办法加
快速
度,或者对指数加权移动平均使用替代函数?
浏览 16
提问于2017-03-08
得票数 0
回答已采纳
1
回答
单调过滤Pandas Groupby
python
、
pandas
假设我有一个这样的值的
数据
帧
: df = pd.DataFrame([ [ 23, .30], [ 23, .29], [ 23, .33], [ 23, .29], [ 23, .31], [ 25, .31], [ 25, .32], [ 25, .22], [30, 0.9], [30, 0.91], [30, 0.92] ], columns=['Day', 'Rate'] ) 我想
按
天
分组
因此,对于上述
数据
帧
,答案将如下所示: ans =
浏览 5
提问于2020-10-25
得票数 1
回答已采纳
1
回答
如何
拆分dataframe -
数据
文件列表(同时删除
分组
列)
r
、
dataframe
如何
将
大型
数据
帧
拆分为data.frames列表,并删除将行
分组
为特定
数据
帧
的列?split into a list based on "cyl" column然后,我想从列表中的所有
数据
文件中删除如果没有查看列表中的每个
数据
,是否有办法删除该列? 谢谢!
浏览 2
提问于2020-06-12
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
继脸书开源PyTorch3D后,谷歌开源3D场景理解库
计算机视觉目标跟踪简介
数据差异的可视化
激光雷达深度补全
谷歌发布TF新工具:计算速度提升2倍,减少无效参数
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券