如何在Python中异步处理数据缓冲区？

文章/答案/技术大牛

发布

1回答

球拍中的管道与异步通道

concurrency、racket、channel

它们类似于普通信道，但另外还有一个缓冲区。如果数据被写入缓冲区，且数据未满，则写入线程将继续。如果队列为空，则读取线程将阻塞，但否则它可以读取最新数据并继续运行。为某些使用者提供一个输出，以获取缓冲区中的数据。两者之间的主要区别似乎是放在每一项中。管道似乎主要用于处理文本(和字节)，并相应地设置它们的大小。其中，as通道<e

浏览 4提问于2017-06-30得票数 2

1回答

python、asynchronous、python-multithreading

我有以下用例：我正在用一些数据填充一个列表LIST_A。每次列表不为空时，我都想对数据执行另一个操作，并将其从该列表中删除。LIST_A有点像一个缓冲区。有没有可能在一个单独的python脚本中做到这一点，或者我应该使用一个简单的数据库和两个单独的脚本，其中第二个脚本不断地检查是否有什么事情要做？

浏览 15提问于2020-02-26得票数 0

1回答

从Arraybuffer响应类型创建HTML画布

javascript、ajax、canvas、arraybuffer、putimagedata

我将数据作为数组缓冲区返回。现在我如何在画布上呈现这个Array缓冲区。现在，请不要建议任何答案，如设置源url的图像。我想把图像数据保存在内存中，以便进行一些处理。

浏览 2提问于2015-03-03得票数 1

回答已采纳

1回答

Python (UNIX)套接字--读取所有数据

python、sockets、unix

如何从python套接字读取所有数据？似乎没有一个"sendall“(如红宝石中的Socket#read )对应的读取和连接缓冲区似乎相当低的水平，什么应该是更高级别的语言。如果我不得不求助于此(级联缓冲区，即)，假设我正在处理UNIX套接字，那么是否应该选择最佳缓冲区大小？

浏览 2提问于2015-04-21得票数 1

回答已采纳

1回答

异步数据处理

opencl

我有一个数据分组队列，它的作用类似于路由器队列。数据包到达，存储在队列中，然后由路由器处理。最后，它们被插入到外出队列中。我正在尝试使用OpenCl并发处理数据包。我知道我们可以使用缓冲区，例如，在主机和OpenCl设备之间传输数据。我们用输入/输出数据加载缓冲区。然后，我们使用这些输入/输出缓冲区设置内核参数。当内核运行完成后，我们从OpenCl设备读取<em

浏览 0提问于2016-02-25得票数 0

1回答

如何在内核中有效地实现异步I/O

linux-kernel、operating-system、kernel、low-level-io

这个问题是关于低级异步I/O系统调用，如send + epoll/aio_read等。我询问的是网络I/O和磁盘I/O。因此，我推测这样做是以下列更有效的方式进行的：在内核内部异步I/O queue.Dedicated中附加发送请求的“写线程”以这样的方式接收这些发送请求，从而充分利用目标硬件。用于读取/接收数据：硬件引发I/O中断，该中断跳入内核的I/O中断处理<

浏览 2提问于2019-12-23得票数 2

回答已采纳

1回答

自定义数据流组件循环输入流水线缓冲区不止一次

sql-server、ssis

我仍然在学习如何在SSIS中创建自定义组件。假设我的输入行数为500行，我需要一次从输入管道缓冲区读取/批/处理100行，然后将它们发送到第三方应用程序，一旦得到结果，我需要用新数据更新管道缓冲区列，然后读取/批/处理下100行，直到我处理完所有我的问题是，我能不止一次地循环/读取输入管道缓冲区，这样我就可以用第三方应用程序返回的数据更新缓冲区了吗？

浏览 2提问于2020-09-11得票数 2

回答已采纳

1回答

在PyBuffer_Release之后是否需要Py_BuildValue("y#"，.)？

python、python-c-api、pybuffer

如果有区别的话，我会对Python 3的答案感兴趣。 docs状态(和)，即PyBuffer_Release()应该在PyArg_Parse*()之后调用s*，y*。

浏览 4提问于2018-07-04得票数 3

回答已采纳

1回答

如何在客户机/服务器架构中管理读/写缓冲区

sockets、client-server

我想知道如何在多个客户机/一个服务器架构中管理读和写缓冲区。我的问题是：浮点

浏览 2提问于2013-10-02得票数 0

回答已采纳

2回答

我们知道printf不是异步信号安全函数。以下是我的基本理解：假设我们在printf方法中调用了main，所以内容被写入stdio缓冲区，就在缓冲区被刷新到文件之前，一个信号到达，信号处理程序也调用printf，第二个printf将它的内容附加到缓冲区，现在缓冲区包含来自第一次调用和第二次调用的内容，这是不一致的，这是不正确的，因此我们不能在信号处理程序中使用非D3安全函数。如果我的理解是正确的，那么异步安全功能如何解决这个问题？因

浏览 0提问于2020-09-13得票数 1

回答已采纳

1回答

单线程引擎(如noflo )如何实现基于流的编程？

multithreading、noflo

保罗·莫里森说 FBP的核心概念是多个组件进程异步运行，通过数据块流进行通信，这些数据块运行在现在所谓的有界缓冲区中。那么，构建在node.js上的单个线程实现(如noflojs )如何模拟多个并发异步进程呢？在其他单线程语言中也可以使用相同的方法吗？

浏览 0提问于2014-06-01得票数 0

回答已采纳

1回答

定制应用程序中的DeepStream python应用程序

deep-learning、nvidia-jetson、nvidia-jetson-nano、jetson-xavier、nvidia-deepstream

在这个中，我们可以访问gstreamer管道缓冲区并在numpy数组中转换帧缓冲区，我想知道如何访问GPU中的帧缓冲区，然后在不将帧转换为numpy数组的情况下输入我的自定义处理器。我们有两种使用深流解码器的解决方案(比opencv+gstreamer有效)：一种是需要编写自定义处理元素并在gstreamer中注册，然后将定制元素放入流水线中，然后在帧缓冲区上进行处理。第二种方法是，我们只使用从该解码的帧，然后将帧传递到自定义

浏览 10提问于2020-08-13得票数 0

1回答

Python/Cloud函数异步POST请求

python-3.x、asynchronous、google-cloud-platform、python-requests、google-cloud-functions

我有一个Google Cloud Function (python)，它迭代数据集并在满足特定条件时触发其他Google Cloud函数(在迭代中)。我一直在研究requests模块中的timeout参数，但它似乎不起作用。

浏览 5提问于2019-08-15得票数 1

2回答

在同一数据流上启动多个异步读/写操作是否会损坏数据？

c#、multithreading、asynchronous、io、concurrent-programming

我之所以使用异步I/O，是因为它不会阻塞调用线程，而是在幕后进行线程化操作。如果我在同一个Stream上调用多个异步操作(如BeginWrite())，我是否需要担心数据缓冲区内容混合在一起？假设我想发送3个缓冲区：Buffer2: 2222222222我不介意缓冲区的发送顺序不正确，所以 333333333311111111112222222222可以，但是是否有可能

浏览 3提问于2011-05-21得票数 6

回答已采纳

2回答

clEnqueueWriteBuffer到底是做什么的？

opencl

在试图提高某些OpenCL计算的性能的同时，我在OpenCL运行时的clEnqueueWriteBuffer调用上和紧接着的clEnqueueNDRangeKernel (这取决于以前的数据转换)上使用了分析特性在实际进行传输之前，clEnqueueWriteBuffer是否将数据复制到另一个主机内存区域？我在特斯拉M2090 GPU上使用了cuda 4.1框架。以前使用以下方法创建缓冲区： cl_buf = clCreateBuffer(my_context, CL_MEM_READ_ONLY, size, NULL, NU

浏览 2提问于2012-10-01得票数 3

回答已采纳

1回答

boost async_write:如果失败，如何跟踪未发送的内容并通知客户/用户哪些失败？

c++、boost、asyncsocket

如果我们使用socket.async_write，发送消息的客户端代码将不会有一个同步结果来知道它是成功还是失败，因此不知道它是否应该重试发送(或者当消息发送失败时将调用任何错误处理)。助推医生说：回调方法将告诉您哪里发生了错误，以

浏览 2提问于2013-07-05得票数 0

1回答

python中的异步？

python-3.x、file、asynchronous、buffer

我有一个6000行长的数据文件，我将把它加载到buffer中，解析它，然后写到另一个json文件中。完成此任务的更好方法是什么？我是否应该将文件加载到buffer中，然后对其进行解析，然后将其写入该文件？或者我应该加载缓冲区中的文件块，处理它，并将其写入，同时保留任务？这接近于javascript中的异步函数吗？python中是否有简单的文件加载和写入文件的示例？

浏览 16提问于2020-07-28得票数 1

回答已采纳

2回答

查询长序列内核和读取时的内存注意事项

opencl

我有一个长序列的内核，我需要运行一些数据，如是否必须将对所有cl_mem对象的引用保存在操作的长链中<

浏览 2提问于2013-01-16得票数 0

回答已采纳

2回答

在把缓冲区发送到boost::asio::buffer后，我需要删除它吗？

c++、boost、char、buffer

Sp I具有如下功能：{}

浏览 1提问于2010-12-06得票数 0

回答已采纳

点击加载更多

球拍中的管道与异步通道