腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
内存
错误
:
从
python
中
的
BLOB
读取
大型
.
txt
文件
时
python
、
pandas
、
azure-blob-storage
、
azure-sdk
我正在尝试
从
python
中
的
Azure
blob
读取
一个大
的
(~1.5 GB) .
txt
文件
,这给出了
内存
错误
。有没有一种方法可以让我高效地
读取
这个
文件
?(StringIO(blobstring)) print("Time taken = ",end-start) 以下是
错误
的</
浏览 23
提问于2019-06-23
得票数 1
回答已采纳
1
回答
如何使用rest模板
从
块
中
读取
大CSV
文件
java
、
spring-boot
、
azure-blob-storage
、
resttemplate
我需要从azure
blob
中
读取
大型
CSV
文件
,处理这些记录并将这些记录存储到Db
中
。目前,我正在使用rest模板来完成这一任务。对于小型
文件
来说,它工作得很好。然而,对于较大
的
文件
,它是释放
内存
错误
。 我需要大量阅读
浏览 16
提问于2022-11-12
得票数 0
2
回答
如何使用
python
sdk将字符串直接上传到azure存储
blob
?
python-3.x
、
azure-blob-storage
使用
python
sdk将JSON字符串(在
内存
中
创建,而不是
从
文件
中
读取
)上传到azure
blob
存储
的
最佳方式是什么?我
从
https://pypi.org/project/azure-storage-
blob
/
的
文档中了解到,我可以通过执行以下操作将
文件
上传到azure
blob
存储。>
浏览 21
提问于2020-06-27
得票数 0
回答已采纳
1
回答
将Oracle
中
的
BLOB
迁移到PostgreSQL
中
postgresql
、
oracle
、
migration
、
postgresql-9.4
、
blob
我使用Oracle
中
的
数据类型
BLOB
来存储图像和文档
文件
。现在对于Postgres(9.4.5),我有两个选项,即BYTEA或OID。考虑
从
Java端传递params (保存)如下:InputStream is = null;}call.execute(); //When retrieve th
浏览 0
提问于2016-01-11
得票数 3
1
回答
如何
从
aws
内存
中
的
azure存储
中
读取
大型
gzip csv
文件
?
python
、
amazon-web-services
、
aws-lambda
、
azure-blob-storage
我正试图将
大型
gzip csv
文件
(>3 to )
从
蔚蓝存储
blob
中转换出来,方法是将其加载到AWS函数
中
的
熊猫数据
文件
中
。带有16 Gb
的
本地机器能够处理我
的
文件
,但是它在aws
中
执行时会出现
内存
错误
"errorType":"MemoryError",因为lambda
的
最大<em
浏览 1
提问于2020-08-14
得票数 0
1
回答
如何将数据
从
存储桶逐行流式传输到
python
脚本
python
、
google-cloud-platform
我正在处理存储在Google Cloud
中
的
大型
数据
文件
。我使用
的
是一个
Python
脚本,它首先下载一个包含json行
的
blob
,然后打开它以逐行分析数据。这种方法非常慢,我想知道是否有更快
的
方法来做到这一点。在命令行
中
,我可以使用gsutil cat将数据流式传输到标准输出,在
Python
上有类似的方法吗?这是我目前用来
读取
数据
的
方法: myClient = s
浏览 6
提问于2019-10-01
得票数 1
1
回答
如何使用
python
检查单独行上
的
文件
中
是否存在数字
python
、
search
、
numbers
、
match
我有一个
文件
PhaseMar.
txt
,每一行只包含以下数字164434test_file = open('PhaseMar.
txt
', 'r') #modification!print "true" print "false"
浏览 1
提问于2016-11-22
得票数 0
回答已采纳
2
回答
Python
脚本在
读取
大
文件
后不会终止
python
、
io
我编写了一个简短
的
Python
脚本来
读取
一个12 to
的
文件
:脚本
读取<
浏览 5
提问于2017-08-10
得票数 0
回答已采纳
2
回答
Python
:我如何修复这个管道损坏
的
错误
?
python
、
linux
、
pipe
、
ubuntu-14.04
我想将tac命令显示
的
行数限制为5行,并将结果保存到一个新
文件
中
。上面的命令在我
的
命令窗口中工作得很好。然而,当我尝试通过
Python
文件
调用它,然后保存到一个新
文件
中
时
,我得到了一个tac: write error: Broken pipe
错误
...这就是代码
的
样
浏览 1
提问于2015-01-25
得票数 0
2
回答
python
中
逐行
读取
文件
时
出错
python
、
for-loop
我有一个文本
文件
,它
的
内容如下js/config/organization.jsprotected/config/settings.php 下面是
python
脚本
文件
。此脚本将
读取
上述文本
文件
中
的
文件
,并将相同
的
文件
上载到A
浏览 1
提问于2014-11-30
得票数 0
回答已采纳
1
回答
AdoQuery如何处理blobs?
delphi
、
memory
、
delphi-2010
、
ado
我正在测试一些数据库组件,比如SDAC和其他组件,我发现了一些有趣
的
事情:我知道我不应该返回所有这些行,我应该使用分页和blablabla。我认为ADO正在压缩<e
浏览 0
提问于2012-01-12
得票数 2
回答已采纳
1
回答
使用Django处理
大型
文件
时
超过了软
内存
限制
python
、
django
、
google-app-engine
我在试图提供
大型
流视频
文件
(一个Appengine实例)(运行django 1.5)
时
,不断地碰到“软私有
内存
限制超过”
错误
。样本代码:
blob
_reader = blobstore.BlobReader(
blob
_key, buffer_size=1048576) re
浏览 2
提问于2015-09-30
得票数 0
回答已采纳
1
回答
通过
python
将大
文件
上传到视频索引器
python
、
http-post
、
microsoft-cognitive
、
video-indexer
然而,我
的
机器为此占用了大量
的
内存
。部署系统有相当少量
的
RAM。我想使用API,这样视频就可以上传到多个部分,而不会占用太多
内存
(大约100 so就足够了)。我试着用ffmpeg将视频分割成块,并将其一片片上传,但视频索引将它们识别为不同
的
视频,并为每个视频提供了不同
的
见解。如果视频是在线聚合
的
,那就更好了。 我怎样才能做块视频上传到MS视频索引?
浏览 0
提问于2019-06-12
得票数 1
回答已采纳
1
回答
读取
大型
txt
文件
时
Python
“无效参数”
错误
python
、
nlp
、
bigdata
我正在尝试预处理一个
大型
.
txt
文件
,即大约12 is。 有办法读这么大
的
文件
吗?with open('data/text8') as f: text = f.read()
浏览 0
提问于2018-12-04
得票数 0
7
回答
与
Python
相比,在Julia
中
阅读csv要慢一些
julia
与
Python
相比,用Julia
读取
大型
文本/ csv
文件
需要很长时间。下面是
读取
大小为486.6 MB、有153895行和644列
的
文件
的
时间。
Python
3.3示例import timemyData=pd.read_csv("C:\\myFile.
txt
",sep",'|',
浏览 14
提问于2014-02-19
得票数 29
回答已采纳
2
回答
Azure函数读写Blobs存储抛出内部500
错误
python
、
azure
、
azure-functions
、
azure-blob-storage
我用
python
编写了一个简短
的
代码,它从
blob
存储区
读取
一个文本
文件
,并附加一些列名并将其输出到目标
文件
夹。当我
从
VS代码运行时,代码将正确执行。当我试图通过Azure函数运行它
时
,它会抛出一个
错误
。 我
的
function.json绑定
文件
中有
错误
的
参数吗?{ "statusCode":500,“消息”:“内部服务器
错误
”
浏览 4
提问于2021-08-13
得票数 1
2
回答
命令在处理
大型
文件
时
卡住了。纯
Python
。(2.5gb +
文件
大小)
python
、
azure
、
databricks
、
azure-databricks
我使用纯
Python
将
txt
文件
转换为XML格式。我有一个
从
1kb到2.5Gb
的
txt
格式
文件
列表。当转换
时
,大小大约增长了5倍。问题是,当处理更大
的
2.5Gb
文件
时
,第一个
文件
可以工作,但随后
的
处理会挂起并卡住running command..。较小
的
文件
似乎没有问题。进行
内存
检查
的
显示,它
浏览 0
提问于2020-09-09
得票数 4
1
回答
我不断地得到ValueError:带有基10
的
int()
的
无效文本:'‘
python
、
pandas
、
tweepy
这是代码,但是每次它创建这个
错误
。ValueError:带基10
的
int()文本无效:'‘import tweepyimport timeappkey= creds.appkeyaccessToken = creds.accessToken with open('latest.<em
浏览 2
提问于2022-08-06
得票数 0
3
回答
在
python
中
阅读
大型
文本
时
面临
的
错误
python
使用
Python
3,我
的
要求是
从
目录
中
读取
电子邮件
文件
并过滤其中
的
Html标记。 output = os.system("
python
html2
txt
.py " + file) for line in output
浏览 2
提问于2017-07-12
得票数 0
1
回答
如何使用
Python
3.5在Google App Engine
中
打开
文件
?
python-3.x
、
google-app-engine
我可以在我
的
本地机器上使用下面这行代码加载我
的
txt
文件
。lines=open(args['train_file1'],mode='r').read().split('\n') args是包含训练
文件
目录
的
dict。现在我将
python
的
工作版本改为3.5,现在我得到了这个
错误
。我不知道为什么会出现这个
错误
,
文件
就在那个目录
中</e
浏览 12
提问于2019-01-08
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python文件读取技巧:从文件读取数据到内存缓存的高效方法
渗透技巧——利用Masterkey离线导出Chrome浏览器中保存的密码
文件和目录操作
Python智阐8-文件和目录操作
第36 p,就这几个方法,Python中文件的操作
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券