腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Pandas
查询
数据
帧
的
性能
差异
、
、
假设我有一个
数据
框 purchase_1 = pd.Series({'Name': 'Chris', 'Item Purchased': 'Dog Fooddf = pd.DataFrame([purchase_1, purchase_2, purchase_3], index=['Store 1', 'Store 1', 'Store 2']) 我
的
问题是,这两个代码块之间是否存在
浏览 21
提问于2020-04-10
得票数 0
回答已采纳
2
回答
对熊猫
数据
帧
进行子集
的
最佳方法
、
、
、
当您可以使用括号表示法直接过滤
数据
帧
时,为什么人们会使用df.query()?官方
的
熊猫教程似乎也更倾向于后一种方法。使用方括号表示法:With
pandas
查询
方法:除了已经提到
的
一些风格或灵活性
差异
之外,是否有一个规范首选-即在大型
数据
帧
上
的
操作
性能
浏览 0
提问于2018-01-22
得票数 11
回答已采纳
2
回答
在
Pandas
中迭代
数据
帧
中
的
行:使用df.index和df.iterrows()作为迭代器有什么区别吗?
、
、
在
Pandas
中迭代
数据
帧
中
的
行时,使用以下方法是否存在
性能
上
的
差异
: ....哪一种是最好
的
?
浏览 9
提问于2021-12-04
得票数 1
回答已采纳
1
回答
在Python3中使用'multiprocessing‘库进行PostgreSQL
查询
、
、
、
、
我正在尝试编写一个Python脚本,将
查询
数据
从我
的
数据
库读取到
pandas
数据
帧
中。我已经大大简化了代码,以测试使用多处理库
的
有效性,以便并行运行
查询
,因为运行包含我要收集
的
所有信息
的
查询
需要几分钟时间。 但是,从多进程中使用Pool并不是最有效
的
。(实际上,在运行脚本时没有出现
性能
上
的
差异
)。有没有一种更有
浏览 0
提问于2018-06-12
得票数 1
1
回答
Spark dataframe CSV vs Parquet
、
、
我是Spark
的
初学者,正在尝试理解spark
数据
帧
的
机制。当从csv加载
数据
时,我正在比较spark sql dataframe上sql
查询
的
性能
。我
的
理解是,一旦
数据
被加载到spark
数据
帧
中,那么
数据
来自哪里(csv或parquet)就不再重要了。然而,我看到了两者之间
的
显着
性能
差异
。我正在使用以下命令加
浏览 2
提问于2018-02-11
得票数 1
1
回答
当追加多个列时,如何解释DataFrame.assign(**kwargs)和dd[x]=y在Dask中
的
性能
差异
?
、
、
、
在将一些代码从
Pandas
迁移到Dask时,我发现通过使用多列调用DataFrame.assign()来修改Dask
数据
帧
与使用多个DataFrame.__setitem__() (也称为dataframe[x]=y)调用来修改它之间存在巨大
的
性能
差异
。使用导入对于定义如下
的
Dask
数据
帧
: dd = dask.dataframe.from_
pan
浏览 3
提问于2020-04-16
得票数 0
1
回答
pandas
_udf和to_
pandas
的
区别是什么?
、
当我用熊猫清理大
数据
的
时候,我有两种方法:一种是从pyspark 2.3+清洁
数据
中使用sdf,另一种是通过toPandas()将sdf转换成pdf,然后使用熊猫进行清洁。
浏览 1
提问于2019-01-21
得票数 1
回答已采纳
1
回答
合并两个大型
数据
帧
、
、
、
我有两个大
数据
帧
:一个包含3M行,另一个包含2M行第一个
数据
帧
: sacc_id$ id$ creation_date0 001A000000hAUn8IAG/_libs/join.pyx in
浏览 16
提问于2019-01-31
得票数 0
2
回答
使用
Pandas
导入Excel文件时出现问题
、
、
我是python
的
新手,希望有人能帮我。import
pandas
as pd dataat0789/.spyder-py3/temp.p
浏览 3
提问于2020-03-12
得票数 0
1
回答
Pandas
:计算整个
数据
帧
的
平均值或标准差
、
、
这就是我
的
问题,我有一个这样
的
数据
框架:S3 0 5 9S1 6 11 12S4 4 8 8df.mean()df.mean().mean()df.get_values().mean() df.get_va
浏览 0
提问于2014-08-05
得票数 46
回答已采纳
1
回答
为什么大熊猫成群
的
速度不同?
、
、
为什么在
pandas
中,从32m行
数据
帧
中获取组
的
这三种方法
的
性能
存在
差异
。编辑:添加漏掉
的
方括号。
浏览 0
提问于2016-07-18
得票数 0
1
回答
Keras序列:创建Tensorflow numeric_columns
的
优势?
、
、
relu'), Dense(units=1, activation='linear']) 在另一个教程中,初始输入层是直接从使用.values转换为numpy数组
的
pandas
数据
帧
中获取
的
。张量
的
字典永远不会创建,并且第一层没有DenseFeatures位。(在本例中,df是
数据
帧
,features是功能列
的
列表,lbl是目标列) x = df[features]
浏览 24
提问于2021-09-04
得票数 1
回答已采纳
1
回答
pandas
数据
帧
: loc与
查询
性能
、
、
、
、
我在python中有两个
数据
帧
,我想
查询
数据
。 DF1: 4M记录x 3列。
查询
函数看起来比loc函数更有效。 DF2: 2K条记录x 6列。loc函数看起来比query函数更有效。两个
查询
都返回一条记录。模拟是通过在循环中运行相同
的
操作10K次来完成
的
。 运行python 2.7和
pandas
0.16.0 有什么建议可以提高
查询
速度吗?
浏览 72
提问于2018-04-20
得票数 17
回答已采纳
1
回答
Delta Lake:
性能
挑战
、
方法1:我
的
输入
数据
是一堆json文件。经过预处理后,输出为
pandas
数据
帧
格式,该格式将写入Azure SQL
数据
库表。方法2:我已经实现了delta lake,其中输出
pandas
数据
帧
被转换为Spark
数据
帧
,然后将
数据
插入到分区
的
Delta Table中。这个过程很简单,而且将
pandas
数据
帧
转换为
浏览 8
提问于2020-10-28
得票数 1
1
回答
熊猫切片列和基于条件之间
的
选择子集
、
、
我有如下
数据
:timestamp 2020-11-0112:00:00,并且需要发生这些事件
的
索引/时间戳。每个列可能有多个这样
的
事件。所以,100,可以是从12:00到12:03之间
的
0.5到1,然后再从12:20到12:30。当它达到0时,它需要重置。列名是可变
的
。我还想要列值在0.5到1之间
的
时间差,所以从上面看是3分钟和10分钟。对于索引出现在<
浏览 3
提问于2020-11-27
得票数 0
回答已采纳
1
回答
Pandas
MultiIndex
的
简单用例
、
我正在尝试在
Pandas
数据
帧
上编写一个简单
的
查询
0 1 2.10 3 4.0我希望选择所有行作为WHERE A=0 and B>1,因此我希望作为输出A B C0 3 4.0df = pd.DataFrame([{'A': 0, 'B': 1, 'C': 2.1}, {'A': 0, '
浏览 20
提问于2018-03-04
得票数 1
3
回答
将列名称从int转换为
pandas
中
的
字符串
、
我有一个混合列名
的
pandas
数据
帧
:当我将这个
数据
帧
保存到h5file时,它说
性能
会因为混合类型而受到影响。如何在
pandas
中将整数转换为字符串?
浏览 12
提问于2016-07-26
得票数 37
回答已采纳
1
回答
SQLLite或SQLAlchemy可以直接在熊猫
数据
帧
上工作吗
、
我正在尝试对
pandas
dataframe使用sql
查询
。但是使用where子句有时会让人感到困惑。由于我也已经在SQL中构建了
查询
,所以我尝试使用SQL ALchemy,但它首先需要创建一个与RDBMS.Unfortunately
的
连接我
的
数据
在CSV中。请告诉我是否可以直接在
数据
帧
上使用它,以及如何使用它。
浏览 8
提问于2020-03-05
得票数 0
0
回答
在将
数据
帧
转换为CSV然后再转换回
数据
帧
后,pd.equals()返回false
、
、
、
我有一个原始
的
熊猫
数据
帧
,让我们叫它df。我将
数据
帧
转换为csv文件,然后将其转换回
pandas
数据
帧
。当我调用df.equals(新
数据
帧
)时,它返回false。我认为一个错误可能是索引可能关闭,所以我将新
数据
帧
的
索引设置为csv文件
的
第一列(这是原始
数据
帧
的
索引),但仍然得到相同
的
浏览 4
提问于2017-11-28
得票数 4
1
回答
python
pandas
数据
帧
差异
、
将解析后
的
JSON与
数据
库中
的
表
数据
进行比对。我能够成功地比较
数据
,但以下是澄清/帮助: eventtime _merge1 2019-09-01 02:02:17 both 因此,"_merge“列告诉我
数据
是否与所有行都匹配。1)如果输出(_merge列)给出<em
浏览 8
提问于2020-05-19
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Pandas处理大数据的性能优化技巧
将多个Excel工作表合并到一个Pandas数据帧中
类似SQL的多条件查询,pandas也能轻松应对
Android Sqlite里数据查询性能优化对比
MongoDB数据库查询性能提高40倍
热门
标签
更多标签
云服务器
ICP备案
腾讯会议
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券