从大型request_body中以块为单位读取数据

是一种处理大量数据的常见技术。它可以提高数据传输的效率，减少内存的占用，并且适用于处理大文件上传、流式数据等场景。

具体实现上，可以通过以下步骤来实现从大型request_body中以块为单位读取数据：

获取请求的Content-Length头部字段，该字段表示请求体的总大小。
根据需要设置合适的块大小，通常建议在8KB到64KB之间，以平衡读取速度和内存占用。
创建一个缓冲区，用于存储每个块的数据。
使用循环结构，每次从请求体中读取一个块的数据，并将其存储到缓冲区中。
处理当前块的数据，可以进行数据解析、存储、计算等操作。
重复步骤4和步骤5，直到读取完整个请求体。
根据实际需求，可以在读取每个块的过程中进行一些额外的处理，例如数据校验、压缩、加密等。
最后释放资源，关闭连接或者继续处理其他请求。

这种以块为单位读取数据的方式可以有效地处理大型请求体，避免一次性将整个请求体加载到内存中造成内存溢出或性能下降的问题。同时，它也适用于处理实时流式数据，如实时视频流、音频流等。

腾讯云提供了一系列与云计算相关的产品，其中与处理大型请求体相关的产品包括：

腾讯云对象存储（COS）：提供了高可靠、低成本的对象存储服务，适用于存储和处理大型文件、多媒体数据等。产品介绍链接：https://cloud.tencent.com/product/cos
腾讯云云服务器（CVM）：提供了弹性、安全的云服务器实例，可用于部署和运行各种应用程序，包括处理大型请求体的应用。产品介绍链接：https://cloud.tencent.com/product/cvm
腾讯云云函数（SCF）：提供了无服务器的事件驱动计算服务，可以按需运行代码，适用于处理实时流式数据和大规模并发请求。产品介绍链接：https://cloud.tencent.com/product/scf

以上是腾讯云提供的一些与处理大型请求体相关的产品，可以根据具体需求选择合适的产品来实现从大型request_body中以块为单位读取数据的功能。

从大型request_body中以块为单位读取数据

python-3.x、request、tornado、chunks

目前，我想从一个帖子request_body中阅读。但是post请求中的数据很大，所以我想通过Tornado中的stream_body_request来实现它。但是我不能实现它。如何以块的形式阅读这个“img_data”？

浏览 34提问于2020-06-09得票数 0

回答已采纳

1回答

Python:以块为单位读取大型CSV

python-3.x

要求:以块为单位读取大型CSV文件(>100万行) 问题:有时，即使文件具有唯一的行，生成器也会生成两次相同的行集。但在一些运行中，它看起来很好，没有重复看起来我在代码中遗漏了什么，我不能弄清楚我想确保它不会一遍又一遍地产生具有不同内容的相同对象代码： def gen_chunks(self,reader, chunksize

浏览 13提问于2020-09-30得票数 0

2回答

对于大型请求体，忽略Nginx proxy_cache_key $request_body。

http、nginx、reverse-proxy、multipartform-data、cache-control

我的后端被正确配置为为POST请求返回适当的缓存控制头。在nginx中，我配置了：proxy_cache_key "$request_method$request_uri$request_body"; 这对于小的然而，我开始注意到，对于大型请求(例如文件上传)，$request_body似乎在proxy_cache_key中被忽略了。当包含文件上载的表单以完全不同的数据两次提交时

浏览 2提问于2013-09-13得票数 13

回答已采纳

2回答

UDP -以块为单位从队列中读取数据

c、sockets、udp、datagram

服务器将来自给定文件的数据以给定量的块(例如，100字节/呼叫)。客户端下载该文件并将其保存在某个位置。问题是客户端可以接收一个参数，说明要读取/调用的字节数。我的问题是当服务器发送100字节/调用，而客户端设置为仅读取15字节/调用时。其他85个字节将丢失，因为该消息已从UDP队列中删除。有没有一种方法可以成块读取这些消息，而不将它们从队列中删除，直到它们被完全读取？

浏览 3提问于2013-03-16得票数 3

回答已采纳

3回答

处理大型SQL select查询/以块为单位读取sql数据

c#、sql、optimization、chunking

我正在运行一个大型SQL select查询，它返回数百万个结果，并且需要很长时间才能完全运行。有人知道如何在不等待整个查询完成的情况下只读取查询返回的部分结果吗？换句话说，我希望在查询仍在运行并获得下一个结果的同时，通过10,000个记录块读取第一个记录。

浏览 1提问于2011-04-20得票数 9

回答已采纳

2回答

Azure函数通过http触发器请求以块为单位读取大文件

azure、azure-functions、azure-functions-core-tools

我在Azure函数中有一个API，它使用Http触发器接收数据并将其发送到本地应用程序。我们有UI前端，在那里用户可以上传大文件大小(没有限制)，这将发送数据块到API。然而，对于同步进程，我们希望通过API实现这一点(避免在中间进程中将数据存储在blob存储中)。有没有办法通过Http触发器请求接收分块数据？例如: UI ->以块为单位发送数据-> API (使用HttpTrigge

浏览 12提问于2021-07-14得票数 1

1回答

我知道结果数据帧的暗度应该是300K * 300。如果我能够一次读取文件，例如10K行，然后将每个块保存为RDS文件，我将能够循环结果并获得我需要的结果，尽管只是稍微慢一点，比在内存中保存整个内容更不方便。是否有其他方法可以将vectors.txt转换为数据帧？也许通过将其分成多个片段并读取每个片段，将其保存为数据帧，然后将其保存到rds？或者其他选择？编辑:从下面Jonathan的回答中，尝试：library(RSQLite)

浏览 5提问于2018-10-08得票数 0

1回答

超Vwmi类的哪个属性来访问内存信息？

windows、memory、virtual-machine、hyper-v

BlockSize数据类型: uint64访问类型:只读取构成存储范围的块的大小(以字节为单位)。如果可变块大小，则应指定最大块大小(以字节为单位)。如果块大小未知，或者块概念无效(例如，对于聚合区段、内存或逻辑磁盘)，则输入1(1)。此属性是从CIM_StorageExtent继承的，并且始终设置为1048576。

浏览 3提问于2015-02-26得票数 2

回答已采纳

2回答

Asp.net c# sql server以块的形式读取二进制sql字段数据。

c#、asp.net、sql-server、sql-server-2008

在我的数据库中，我们有一个varbinary字段，它以字节为单位存储文件内容。因为文件很大，一次读取所有内容会导致超时，所以我希望以块的形式读取数据，就像我们在sql中有write函数来使用块写入数据一样。谢谢

浏览 0提问于2012-06-14得票数 2

1回答

以块为单位从HBase读取数据流/波束

hbase、google-cloud-dataflow、apache-beam、google-cloud-bigtable

我正在尝试理解如何将hbase数据库分批10条记录地摄取到Apache 10/Dataflow中。 }请提供您的观点和想法来解决这类问题。谢谢。

浏览 1提问于2017-10-25得票数 0

2回答

如何阅读一个单独的块？

c#、http、httpwebrequest、httpwebresponse、chunks

我发出了一个GET请求，响应是HTTP header + body，其中包含以块为单位的二进制文件。问题是，每个块都包含我需要的元数据以及二进制数据。如何使用C#从HTTP流中一次只读取一个块？

浏览 3提问于2010-09-15得票数 0

回答已采纳

1回答

在iphone中加密和解密文件

iphone、encryption

但是如果我以块为单位获取数据，我的文件就会被更新。我该怎么做。我可以使用commoncrypto库来加密和解密数据。但是，当我尝试以块为单位读取数据时，有时会出现问题。提前谢谢你。请帮帮忙。

浏览 1提问于2011-09-29得票数 0

回答已采纳

1回答

通过FTP/FTPS将数据写入主机可变块文件

ftp、mainframe、ftps

主机中可变块文件的前4个字节包含有关记录和块的信息。我可以通过FTP或FTPS从主机的可变块文件中读取数据。但是，在尝试写回数据时，如果我不在每条记录中添加空格，那么数据就会变得混乱。只有当我在每条记录中添加空格时，我才能得到预期的输出。有没有办法在可变块文件的前四个字节中写入记录信息？

浏览 1提问于2017-04-12得票数 0

1回答

在大型二进制文件(2 GB或更大)中使用regex搜索字符串

python、regex、python-2.7、binary

使用正则表达式在大型二进制文件(2 GB或更大)中搜索(多个)字符串的最佳方式是什么？A我如何搜索二进制数据？一个简短的例子是非常感谢的。

浏览 0提问于2015-03-15得票数 4

1回答

在循环中以块为单位读取大型文本文件

r、tidyverse、large-data、chunks

我试图逐行逐块地读取它，因为它不能加载到内存中。跳过第一个100，最后一个800将在101-200中读取

浏览 3提问于2019-07-15得票数 0

1回答

以块为单位读取Flux<Integer>

java、flux、reactor、reactive-streams、backpressure

是否可以从webflux流量中以块为单位进行读取？如果没有，消费者是否有其他选择来决定何时请求下一段数据？编辑：为了澄清，我想读取前5个值，然后暂停，然后读取接下来的5个值，而不重新创建发射器流量。

浏览 22提问于2020-10-23得票数 1

1回答

如何使用xsocket获取前4个字节？

xsocket

我正在为整个公司编写一个套接字网关，我将把消息格式定义为length+value，这意味着，前4个字节表示值的长度。

浏览 2提问于2013-09-11得票数 0

1回答

Criteria API使用NOT in语句以块为单位读取数据

java、sql、db2、eclipselink、criteria-api

我使用EclipseLink 2.6.4，Java 8和DB2作为数据库。我必须使用为NOT IN语句提供大量值的NOT IN语句来编写读取数据的查询。.)); //externalIDs.size() == 10k+public-> counter.getAndIncrement() / 999)) } 私有方法part

浏览 46提问于2019-10-22得票数 2

8回答