腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Python
中
使用
Pandas
提高
处理
大型
csv
文件
的
速度
pandas
、
csv
我正在尝试下载每个BTCUSD交易
的
市场数据,并
使用
以下代码将其存储
在
csv
文件
中
from binance_f import RequestClientimport time request_client = RequestClient(api_key=x,', 'Qty']].apply(pd
浏览 55
提问于2020-09-10
得票数 0
3
回答
Pandas
pivot_table更快
的
替代品
python
、
pandas
、
performance
、
numpy
、
dask
我
在
大型
数据集(1,000万行,6列)上
使用
Pandas
pivot_table函数。由于执行时间是最重要
的
,我试图加快进程。目前,
处理
整个数据集需要花费大约8秒
的
时间,这是减慢
速度
的
方法,我希望找到其他方法来
提高
速度
/性能。我试过
使用
pandas
.DataFrame.unstack --这甚至更慢。我还用Dask做了实验。dask pivot_tabl
浏览 0
提问于2019-03-28
得票数 6
1
回答
与从
CSV
- SScursor导出和导入相比,
Python
MySQLdb
文件
速度
较慢。加速是可能
的
吗?
python
、
mysql
、
csv
、
file-io
、
mysql-python
INTO“功能将查询导出到
CSV
文件
,并
使用
python
的
fileinput模块读取它,以及 2)
使用
MySQLdb
的
SScursor连接到MySQL数据库(默认游标将查询放在内存
中
,杀死
python
脚本第一种方法是“手动”执行SQL查询(大约需要6分钟),然后
使用
python
脚本读取
csv
文件
并对其进行
处理
。我
使用
filein
浏览 0
提问于2013-07-10
得票数 6
回答已采纳
3
回答
如何
使用
python
pandas
在
本地系统Jupyter Notebook
中
读取两个更大
的
5 5GB
文件
?如何在本地连接两个数据帧进行数据分析?
python
、
python-3.x
、
pandas
、
jupyter-notebook
、
data-science
如何
使用
python
pandas
在
本地系统Jupyter Notebook中上传两个大(5 5GB)
的
csv
文件
。请建议任何配置来
处理
用于数据分析
的
大型
csv
文件
?Local System Configuration:RAM: 16 GB代码: dpath = 'p_flg_tmp1.<
浏览 1
提问于2020-01-24
得票数 4
3
回答
有没有一种更快
的
方法来写入或读取大约100万行
的
pandas
数据帧
python
、
pandas
、
dataframe
、
machine-learning
、
spyder
我正在尝试对我
的
问题进行非常具体
的
说明。我有一个包含一些200+列和1mil+行
的
数据帧。我正在读取或写入到excel
文件
,如果我记录正确,这需要超过45分钟。df = pd.read_
csv
("data_file.
csv
", low_memory=False, header=0, delimiter = ',', na_values = ('', 'nan')) df.to_excel('data
浏览 0
提问于2018-07-12
得票数 1
1
回答
如何通过pyspark/hadoop等来
提高
程序
的
速度
?
python
、
hadoop
、
mapreduce
、
pyspark
、
bigdata
我有一个
大型
矩阵
的
大型
目录,我正在对这些矩阵应用一些昂贵
的
操作。管道看起来像这样:请注意,我将前面的“流水线”封装到一个函数
中
到目前为止,有了
python
的
多
处理
库,我能够
在
一周内应用上一个流水线。然而,我很好奇是否有可能在spark map
中<
浏览 2
提问于2017-05-02
得票数 0
2
回答
如何有效地从一个大
的
excel
文件
中
读取数据,进行计算,然后将结果存储回
python
?
python
、
excel
、
python-3.x
、
pandas
、
dataframe
假设我有一个100k行
的
excel
文件
。我
的
代码正在尝试逐行读取它,并对每行进行计算(包括执行每行所需时间
的
基准测试)。然后,我
的
代码将生成一个包含100k行
的
结果数组。我做了我
的
python
代码,但是效率不高,而且花了我几天
的
时间,而且我猜由于高内存消耗,基准测试结果变得更糟。请看我
的
尝试,让我知道如何
提高
它。我
的
代码保存了results=[],并且只
在
末尾编写
浏览 24
提问于2019-04-26
得票数 0
1
回答
Python
模块对
pandas
.read_
csv
和
Python
对
pandas
.read_excel
python
、
excel
、
csv
、
pandas
在
python
中
,我们可以
使用
csv
module或
pandas
.read_
csv
函数来
处理
csv
文件
。对于Excel
文件
,我们可以
使用
xlrd module或
pandas
.read_excel函数。 我经常
使用
熊猫,我觉得read_
csv
和read_excel功能对我来说是有用
的
。有人能解释一下这些方法<em
浏览 4
提问于2017-06-01
得票数 3
1
回答
Pandas
中
HDF
文件
帧
中
列
的
附加
python
、
csv
、
pandas
、
hdf5
我正在
处理
一个
CSV
格式
的
大型
数据集。我正在尝试一列一列地
处理
数据,然后将数据附加到HDF
文件
中
的
框架
中
。所有这些都是用
Pandas
来完成
的
。我
的
动机是,虽然整个数据集比物理内存大得多,但列大小是可管理
的
。
在
稍后阶段,我将一个一个地将列加载回内存并对它们进行操作,从而执行按特性进行
的
逻辑回归。我能够创建一个新
的
浏览 3
提问于2013-12-06
得票数 10
回答已采纳
2
回答
从Ignite缓存导出数据
ignite
我看到了许多
使用
Apache Ignite加载和
处理
数据
的
示例。但是,
在
处理
完数据之后,如何从ignite缓存中导出数据呢? 我期待着
在
集群上实现一些
大型
CSV
文件
的
处理
。假设这是一个简单
的
转换,对特定列
中
的
数据进行预
处理
。
在
我
使用
完它之后,我如何将它从缓存
中
移到S3存储
浏览 76
提问于2020-11-08
得票数 1
回答已采纳
1
回答
如何将Modin熊猫
的
数据附加到其他?
python
、
pandas
、
dataframe
、
pandasql
、
modin
我正在对围绕6GB
的
大型
文件
进行计算,每个
文件
中都有、Modin、熊猫、,我听说与熊猫相比,这是优化
的
。我需要以块
的
形式读取
CSV
文件
,并对其执行计算,并将其附加到
大型
dataframe
中
,并再次将大数据
文件
转换为
CSV
文件
。 这对于
Pandas
来说是非常好
的
。但是
处理
小
文件
需要花费太多<
浏览 0
提问于2019-06-15
得票数 1
回答已采纳
1
回答
在
大型
数据集3.2 Go上,Dask仍比
Pandas
慢
pandas
、
parallel-processing
、
dask
、
dask-dataframe
、
dask-ml
我目前第一次
在
大型
数据集(3.2Go)上尝试本地Dask (并行
处理
)。
在
简单
的
计算上,我正在比较达斯克
速度
和熊猫
的
速度
。
在
除读取和转换数据之外
的
任何任务
中
,
使用
Dask似乎都会导致更慢
的
执行时间。示例:import numpy as npimport tim
浏览 8
提问于2022-04-12
得票数 1
回答已采纳
1
回答
在
一个
大型
字符串
文件
中找到一个字符串
python
、
performance
、
csv
、
pandas
我必须在txt.file中找到一个字符串列表这是我
的
代码: tp = pd.read_
csv
(csvfilelineterminator="\n") if string_to_find in chunk:问题是
使用
这段代码只分析了前
浏览 5
提问于2015-11-12
得票数 2
回答已采纳
1
回答
pandas
多个独立索引(非多个索引)
python
、
pandas
我
在
python
中有几个
大型
的
pandas
data frames,我想通过添加index来
提高
join操作
的
速度
。
在
向database table添加索引
的
类似代码行
中
。当搜索时,我看到
的
只是multi-index选项。它看起来就像数据库
中
的
composite index/multi column index。我需要
的</em
浏览 17
提问于2020-12-02
得票数 1
8
回答
如何用
Python
从URL
中
读取
CSV
文件
?
python
、
csv
、
curl
、
output
、
python-2.x
当我执行curl到API调用链接时我获得
csv
文件
格式
的
员工输出数据,如下所示: "Steve","421","0","421","2","","","","","","",&qu
浏览 16
提问于2013-04-30
得票数 84
回答已采纳
2
回答
从
CSV
列表创建数组
arrays
、
powershell
、
csv
我
在
orders.
csv
中有一个这样
的
列表:10254050081055003868我希望将单元号(第2-4个字符)和整个订单号添加到一个数组
中
到目前为止,用我有限
的
PS知识,我已经创建了变量:$Units = $Orders | Select @{LABEL="Unit
浏览 2
提问于2016-09-26
得票数 1
6
回答
在
Python
语言中并行
处理
大型
.
csv
文件
python
我正在
使用
Python
脚本
处理
大型
CSV
文件
(大约几GB,10M行)。
在
我
的
脚本
中
,每一行都由一个函数单独
处理
。分析一个
文件
大约需要20分钟,看起来磁盘访问
速度
不是问题,而是
处理
/函数调用。 代码看起来像这样(非常简单)。实际代码
使用
的</
浏览 0
提问于2011-12-08
得票数 22
回答已采纳
2
回答
如何
使用
python
将电子表格/excel类型
的
视图集成到我
的
应用程序
中
?
python
我正在尝试
使用
python
创建一个应用程序,在其中我希望能够读取.
csv
或.xlsx
文件
并在我
的
应用程序上显示其内容,我相信
在
python
中
应该有一些包可以帮助我做到这一点,我能有一些建议吗?
浏览 1
提问于2019-11-22
得票数 1
1
回答
Python
中
的
并行
处理
efficient_apriori代码
python
、
apriori
我有来自eshop
的
1200万数据。我想用efficient_apriori包来计算关联规则。The problem is that 12 millions observations are too many,所以计算占用了太多
的
时间。有没有办法
提高
算法
的
速度
?我正在考虑一些并行
处理
或者将
python
代码编译成C语言。我尝试过PYPY,但是PYPY不支持
pandas
包。感谢您
的
任何帮助或想法。如果你想看我
的
代码: i
浏览 94
提问于2021-11-04
得票数 0
回答已采纳
1
回答
用熊猫缓存
CSV
-读取数据进行多次运行
python
、
csv
、
pandas
、
dataframe
我正在尝试将机器学习(
Python
和scikit- learning )应用于存储
在
CSV
文件
中
的
大型
数据,该
文件
大约为2.2G。由于这是一个部分经验
的
过程,我需要多次运行脚本,这会导致
pandas
.read_
csv
()函数一次又一次地被调用,这需要很长时间。显然,这是非常耗时
的
,所以我想一定有一种方法可以加快读取数据
的
速度
,比如以不同
的
浏览 0
提问于2016-11-08
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
CSV文件在Python中的几种处理方式
CSV数据读取,性能最高多出R、Python 22倍
Pandas 2.0正式版发布:Pandas 1.5,Polars,Pandas 2.0 速度对比测试
Python读取指定首尾内容的数据
几个方法帮你加快Python运行速度
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券