腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
优化
数据
帧
中
的
数据
过滤
python
、
dataframe
有没有更好/更快
的
方法来通过列user_option来
过滤
数据
帧
df2,它可以是整个u_choices列表
中
的
那些列。 目前我已经写好了下面的代码。(df2['user_option'] == 'c3')| (df2['user_option'] == 'a2d2)| (df2['user_option'] == 'e4')] 当处理跨越多个区域
的
数十
浏览 12
提问于2021-09-22
得票数 0
回答已采纳
1
回答
在星火中加入Dataframe表演
apache-spark
、
apache-spark-sql
我正在加入两个
数据
文件,它们从df.join读取csv文件,并使用s3连接它们。使用默认spark.sql.shuffle.partitions (200)时,需要9分钟才能完成。当我将spark.sql.shuffle.partitions改为10时,它仍然占用几乎相同
的
时间。
浏览 3
提问于2021-04-19
得票数 0
1
回答
如何
优化
此
数据
帧
过滤
?
python
、
optimization
、
dataframe
、
filter
我有一个天气
数据
的
数据
框架:0 USW00094889 2014-11-12 TMAX我尝试
的
方法是创建一个包含所有日期
的
列表:dates = df['Date'].unique(),然后循环遍历
数据
并将值附加到这些列表
中
: minT.appendmaxT.append(df[(df['Date
浏览 0
提问于2017-04-06
得票数 0
1
回答
以最有效
的
方式对Pandas Dataframe进行排序和
过滤
python
、
pandas
我想按列名'duration‘
过滤
,然后显示大于200
的
值。这只是
数据
集
的
一小部分。我有一个非常庞大
的
数据
集。我可以使用dfdf.duration > 200。但是,这在整个
数据
帧
上运行。有没有什么方法可以专门针对列持续时间,然后
过滤
数据
,只显示列持续时间,而不引入新
的
数据
帧
。另外,一些关于在大型
数据
集(工作环境)
中</e
浏览 24
提问于2021-04-17
得票数 0
2
回答
在
数据
帧
上创建Spark作业
的
时间非常长,其中包含多个
过滤
条件
apache-spark
、
pyspark
我有一个具有shape (1e10, 14)
的
PySpark
数据
帧
,我想用大约50个复合OR语句对其进行
过滤
,即:(col1='val1' and col2=5) oror...df_f = df.filter(sql_string)如果这些单个OR语句
的
数量小于10,则会立即创建show方法
的
浏览 0
提问于2020-05-04
得票数 0
1
回答
GPUImage capturePhotoAsImageProcessedUpToFilter只为最后一个
过滤
器工作
objective-c
、
opencv
、
gpuimage
、
gpuimagestillcamera
在我
的
应用程序
中
,我使用了一个由3个
过滤
器组成
的
堆栈,并将其添加到stillCamera
中
。我试图从filter1获取图像,它是一个空
的
过滤
器,因此它返回实际
的
图像。作为我正在使用
的
修复方法:调用capturePhotoAsImageProcessedUpToFilter和imageFromCurrentlyProcessedOutput
浏览 5
提问于2014-01-14
得票数 1
回答已采纳
1
回答
优化
代码以
过滤
R
数据
帧
r
、
dataframe
我有一些R代码,它从命令行接收args字符串,然后根据列
中
的
值
过滤
数据
帧
;args字符串包含列名。现在我正在通过遍历向量来做这件事,但是有些东西告诉我一定有更好
的
方法。有没有办法
优化
这段代码?
浏览 2
提问于2017-04-08
得票数 0
2
回答
在Spark Dataframe上重复
过滤
?
python
、
apache-spark
、
pyspark
我有一个大
的
Spark
数据
帧
,其中包含各种财务信息,假设模式如下所示: Amount 0 10.000 5.001 15.15 我想要做
浏览 13
提问于2020-07-22
得票数 1
3
回答
Spark需要像RDD这样
的
过滤
器后进行重新分区吗?
apache-spark
、
dataframe
、
pyspark
、
rdd
根据大量
的
资源,建议在
过滤
操作后重新划分RDD .因为,现在有可能大多数分区是空
的
。我怀疑如果
数据
帧
是在当前版本
中
处理
的
,还是仍然需要在筛选操作之后重新划分它?
浏览 0
提问于2018-05-22
得票数 2
回答已采纳
2
回答
熊猫一种新特征计算
的
优化
python
、
python-3.x
、
pandas
、
dataframe
、
pandas-groupby
我正在尝试
优化
熊猫上
的
一个函数
的
计算。我有一个简单
的
数据
帧
和我
的
函数(df)。 def func(x): df1 = big_df[(big_df['col1'] !return df1['col5']
浏览 0
提问于2021-02-16
得票数 0
1
回答
根据常用日期
过滤
多个
数据
帧
python
、
pandas
我有21个
数据
帧
。每个dataframe都有一个日期列。我想要做
的
是根据每个
数据
帧
共有的日期来
过滤
所有这些
数据
帧
。以下是
数据
帧
的
示例: ? 现在图20其他类似的
数据
帧
,我想将它们全部
过滤
掉,以便所有的
数据
帧
只包含每个
数据
帧
共有的日期
数据
。因此,每个<e
浏览 36
提问于2021-07-17
得票数 0
回答已采纳
1
回答
以声明性样式处理pandas
数据
pandas
、
dataframe
、
declarative
我有一个pandas
的
车辆坐标
数据
框架(从多个车辆在多天)。对于每一辆车和每一天,我都会做两件事:要么对它应用一个算法,要么如果它不满足某些标准,就把它完全从
数据
集中
过滤
出来。我先使用df.groupby('vehicle_id', 'day'),然后使用.apply(algorithm)或.filter(condition),其中algorithm和condition是接收
数据
帧
的
函数我希望我
的
数据</
浏览 3
提问于2017-06-28
得票数 5
1
回答
dask read_parquet方法
的
过滤
给出了不需要
的
结果
python
、
dataframe
、
filtering
、
dask
、
fastparquet
然而,有时它不会根据给定
的
条件进行
过滤
。示例:使用dates列创建和保存
数据
框架import numpy as np当我从dates文件夹读取和
过滤
04'))] df = d
浏览 0
提问于2018-07-09
得票数 8
回答已采纳
1
回答
数据
过滤
优化
sql
、
google-bigquery
这可能是一个简单
的
问题,但是当查询分区时,如果我在日期之间进行
过滤
,或者只是说where date >=某个日期,查询会不会运行得更快一些?或者这真的不会有多大
的
不同?
浏览 20
提问于2021-10-12
得票数 0
2
回答
R-将固定类别的零值替换为非零值
的
平均值
r
、
dataframe
、
replace
我得到了一个以下形式
的
数据
集age<-rep(50:59, 10)4 1990 53 A 1.9222384 6 1990 55 A -1.2671957 现在,我想将"value“列
中
浏览 0
提问于2019-03-23
得票数 0
1
回答
如何
过滤
R
中
的
“任何值”?
r
、
dataframe
、
filtering
奇怪
的
问题,但是我如何
过滤
,以使
数据
帧
的
所有行都被返回?例如,假设您有以下
数据
帧
:Name <- c(rep("Adam",5), rep("Ben",5), rep("Charlie",5),rep("Daisy",5)) 假设您想为此
数据</e
浏览 1
提问于2016-03-08
得票数 0
3
回答
数据
帧
中
的
优化
替换
r
、
for-loop
、
apply
在开发这个问题
的
答案时,我突然意识到,这可能是for循环比*apply函数更有效
的
情况之一(我一直在寻找一个很好
的
例子,说明*apply并不一定比构造良好
的
for循环“更高效”)。性能将根据我
的
笔记本电脑上
的
microbenchmark (一个运行R3.3.2
的
廉价Windows )评估
的
执行时间来判断。考虑一下
数据
框架: col_1 <- c(1,2,NA,
浏览 7
提问于2017-01-06
得票数 1
回答已采纳
1
回答
如何
过滤
数据
帧
中
的
数据
pandas
、
date
、
filter
**大家好,我有一个12个月预测
的
Dataframe,现在我想添加一个新
的
列来分离这个月 df = df[df['TERMIN'] <= pd.Timestamp(arrow.utcnow().ceil('month').date()) + relativedelta(months=+12)] 这是
过滤
器,以显示12个月
的
预测,现在我想分开所有的月份 所以我需要新
的
专栏 df[0] = Juni df17 LCA64335B 2021-05-24 14.
浏览 13
提问于2020-06-15
得票数 0
2
回答
尽管
数据
大小未超过内存,但仍出现内存不足错误
python
、
pandas
、
dask
我正在尝试从一个MySQL表中加载一个dask
数据
帧
,它占用了大约4 4gb
的
磁盘空间。我使用
的
是一台内存为8 8gb
的
机器,但当我执行drop复制并尝试获取
数据
帧
的
长度时,就遇到了内存不足错误。下面是我
的
代码片段: df = dd.read_sql_table("testtable", db_uri, npartitions=8, index_col=sql.func.abs(sql.column("i
浏览 0
提问于2021-07-13
得票数 1
2
回答
无法向python
中
的
dataframe添加新列
python
我试着做一件非常简单
的
事情,我通过将两个数字相除来创建一个速率,现在我试图将这个速率添加到一个
数据
帧
中
:它给出了这个错误: A value is trying to
浏览 0
提问于2021-06-25
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
tcp/ip模型中,帧是第几层的数据单元?
制造能耗优化中的大数据算法
PostgreSQL中数据批量导入优化方法
MySQL数据库场景中NVMe SSD的优化
快速实现可视化数据过滤,过滤列的使用教程在这里
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券