我正在使用chunksize pd read_csv读取一个10 am的文件，但我注意到read_csv的速度越来越慢。此外，在一些迭代之后，我会收到一条关于“我的磁盘几乎已满”的警告消息。如果我能以某种方式告诉python，在加载分块大小的数据帧并写出输出之后，擦除该分块的内存并将其替换为新的分块，那就太好了。在我读取了文件块之后，我对它做了一些操作(根据某些条件删除了一些行)，并将新输出写入到csv文件中。all_cat_file_name, error_bad_lines=Fals
浏览 2提问于2019-04-27得票数 0
2回答
流式上传请求？
、、
我正在用Python语言实现一个简单的上传处理程序，它将上传的文件分块读取到内存中，GZips并对它们进行签名，然后将它们重新上传到另一台服务器上进行长期存储。我已经设计了一种方法来用我的web服务器分块读取上传的内容，基本上我有一个如下的工作流程：
浏览 1提问于2013-03-22得票数 2
我正在尝试读取使用google-api-python-client 放在Google Drive上的大型CSV文件request = drive_service.files)while done is False:但我想知道是否有一种简单的方法可以在内存中分块读取它
浏览 1提问于2017-08-05得票数 0
回答已采纳
1回答
我正在寻找一个python库，它允许我从TIF图像中检索图像数据，而不需要将整个图像加载到内存中。
我曾尝试使用numpy.memmap，但在文件中查找图像数据时遇到了困难。任何建议都会有所帮助。
浏览 0提问于2014-02-26得票数 3
我还逐行读取文本文件，如果文本文件中已有新值，则需要一种匹配方法。问题是我无法在不发生内存错误的情况下用python加载整个文件。唯一的选择是打开上下文管理器，逐行迭代并尝试匹配值。我知道他们在使用批处理或分块；他们是不是在这些分块中做与我相同的事情？此外，有没有一种方法可以一次分块和搜索多个块？
浏览 40提问于2020-06-16得票数 0
1回答
在这个文件中，我想用Python查找模式，即模式0x01 0x02 0x03和0xF1 0xF2 0xF3之间的数据。我的问题：我知道如何处理二进制数据或如何使用搜索算法，但是由于文件的大小，首先完全读取文件是非常低效的。这就是为什么我认为分块读取文件并搜索块内的模式是明智的。我的目标：，我希望让Python确定找到的模式的位置(开始和停止)。是否有一个特殊的算法，甚至可能是一个Python library，我可以用来解决这个问题？
浏览 2提问于2019-12-12得票数 0
我的应用程序需要一次读取一个数据集，当它读取数据集时，它需要读取整个数据集。我的分析正确吗？如果没有，请帮助我理解分块对我的事业有多大帮助。
浏览 2提问于2014-10-21得票数 0
回答已采纳
嵌入式系统需要上传一段数据（数据量大），采用先读取一小段到内存中然后上传到COS，再读取再上传，最后这些数据合并成一个文件。目前支持的上传分块接口，是需要将整个文件都读取到内存中，然后调用分块上传的接口，嵌入式系统没有充足的内存将整个文件读取到内存，请问哪个接口支持这种处理？
浏览 380提问于2021-03-18
1回答
是否可以将数据读取器从WCF服务api返回到在不同计算机上运行的客户端。正在使用的序列化机制是NetDataContractSerializer。数据读取器被发送到客户端，以便从数据库中读取二进制数据块。数据读取器有一个支持分块的方法GetBytes()。
以上的事情都是可能的。这种方法有什么问题吗？有没有支持分块的替代方案？
浏览 1提问于2010-01-28得票数 1
回答已采纳
我正在尝试将一个大的.log文件(超过60,000行)读入内存。我想应用在gensim中实现的Word2Vec算法。我已经尝试了许多解决方案，但似乎都不起作用。任何帮助都将不胜感激。def file_reader(file_obj):Code2： print(i,line)
sen
浏览 1提问于2017-08-08得票数 0
回答已采纳
我正在通过建立一个合法的连接从一个网站上阅读源代码，就像在Java中这样： PrintWriter writer = new PrintWriter(sock.getOutputStream(), true); writer.println("Host: " + hostname);
write
浏览 0提问于2013-05-15得票数 1
回答已采纳
客户端时，我们得到了一个具有.ResponseStream属性的GetObjectResponse类型的对象，我们可以使用StreamReader.ReadToEnd(ResponseStream)一次性读取内容但也有使用MemoryStream缓冲区的方法，我们可以使用Stream.Read()方法使用有限大小的缓冲区来分块读取它。每种方法的缺点/优点是什么？当读取较大的文件时，分块方法会更有优势吗？
浏览 69提问于2021-11-12得票数 0
回答已采纳
1回答
我想知道为什么它要被分块编码。如果响应不是分块编码的，客户端javascript仍然可以读取和解析响应的文本，对吧？
Comet响应需要分块编码有什么特殊的原因吗？
浏览 5提问于2009-07-06得票数 3
回答已采纳
我有一个很大的日志文件(> 1 1GB)需要分析，所以我写了一个python程序。我使用了islice，所以我可以分块读取文件(10,000行)，这样我的服务器就不会耗尽内存。我在stackoverflow上查找了一些islice解决方案，并实现了一个，但程序没有像预期的那样工作，因为isclice每次都读取相同的行(但在读取整个文件后正确地停止...)。我不能使用with open，因为它是Python2.5，我有Python2.4...
浏览 1提问于2013-04-05得票数 2
使用Python 3.3+ (或任何其他内置python HTTP客户端库)中的http.client，我如何一次只读取一个HTTP块？我正在为一个服务器扩展现有的测试装置(使用http.client用python编写)，该服务器使用HTTP分块传输编码来编写响应。为简单起见，我们假设只要客户机收到HTTP块，我就能够打印一条消息。我的代码遵循一个相当标准的模式来读取大型响应：conn.request(...
浏览 6提问于2014-07-01得票数 5
2回答
我很难理解RDD分区和HDFS输入分块之间的区别。因此，本质上，当您提交星火申请时：
当Spark应用程序希望从HDFS读取时，HDFS上的文件将有输入分块(假设每个输入分块64 mb，每个输入分块都存在于不同的数据节点上)。所述文件约为256 mb，具有4个输入分块，其中2个分块位于数据节点1上，另2个分块位于数据节点2上。现在，当Spark将这256 mb加载到它的RDD抽象中时，它会将每个输入分块(64 Mb)加载到4个不同的R
浏览 0提问于2016-10-08得票数 2
我有一个图像生成器，可以从HDF5文件(通过h5py)读取批量的3D张量，并且它使用Python多处理库(继承自Keras序列)。我看到有MPI接口和SWMR模式。
我可以从这些功能中受益吗？
浏览 103提问于2020-03-14得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
