无法在大队列多处理上使用join -Python
无法在大队列多处理上使用join -Python
提问于 2018-07-02 19:27:14
#Each pic's size is 1280x720
import time
from multiprocessing import Process,JoinableQueue,Queue,Value
**def create_row(M, q_row,y_val):** #creating lines. len:720 len of each
line_len=720
col_len=1280
for i in range(line_len):
q_row.put(M[(i*col_len):((i+1)*col_len)])
**def create_col(M, q_col,x_val):** #creating cols
col_len=1280
line_len=720
for i in range(col_len):
l = list()
for j in range(line_len):
l.append(M[j*line_len + i])
q_col.put(l)
**def main():**
#creating row and col Queue
q_row=JoinableQueue()
q_col=JoinableQueue()
x_val=Value('i',-1)
y_val=Value('i',-1)
p1=Process(target=create_row,args=(M,q_row,y_val))
p2=Process(target=create_col,args=(M,q_col,x_val))
q_row.join()
q_col.join()
p1.start()
p2.start()
p1.join()
p2.join()现在来看问题：
M是大小为1280×720的列表，其表示一幅图片。
我们希望将列表划分为行和列，这样我们就可以更快地浏览整个图片。
我们尝试了以下几种方法：
- Without加入进程：在这种情况下，只有一个函数可以工作(我们将只获得加入进程的row_q或col_q)
- With：：程序将冻结。
我该怎么办？
回答 1
Stack Overflow用户
发布于 2018-07-02 20:48:53
here回答了一个类似的问题，
这是文件里的一些东西。
警告
如上所述，如果子进程已将项放入队列(并且未使用JoinableQueue.cancel_join_thread)，则该进程将不会终止，直到所有缓冲的项都刷新到管道中。
这意味着，如果您尝试加入该进程，则可能会出现死锁，除非您确定已放入队列的所有项都已被使用。类似地，如果子进程是非守护进程，那么当父进程试图加入所有非守护进程的子进程时，它可能会在退出时挂起。
请注意，使用管理器创建的队列没有此问题。
通过使用multiprocessing.Manager创建的队列，这个问题就解决了。
import time
from multiprocessing import Process,JoinableQueue,Queue,Value
import multiprocessing
def create_row( q_row,y_val): #creating lines. len:720 len of each
line_len=720
for i in range(line_len):
q_row.put(1)
def create_col(q_col,x_val): #creating cols
col_len=1280
line_len=720
for i in range(col_len):
l = list()
for j in range(line_len):
l.append(1)
q_col.put(l)
def main():
#creating row and col Queue
manager = multiprocessing.Manager()
q_row=manager.JoinableQueue()
q_col=manager.JoinableQueue()
x_val=Value('i',-1)
y_val=Value('i',-1)
p1=Process(target=create_row,args=(q_row,y_val))
p2=Process(target=create_col,args=(q_col,x_val))
q_row.join()
q_col.join()
p1.start()
p2.start()
p1.join()
p2.join()
main()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/51135131
复制相关文章
相似问题