如何在Python多处理中共享DB连接池？
如何在Python多处理中共享DB连接池？
提问于 2022-06-23 07:53:00
我正在使用multiprocessing.Pool来执行一些函数。在函数中，我需要连接到数据库(使用sqlalchemy)。我尝试通过使用multiprocessing.Queue共享到子进程的sqlalchemy连接池，如下所示：
from multiprocessing import Pool, Manager
def process(data, queue):
db = queue.get()
with db.connect() as connection:
# execute some query
data_list = [] # list of data I'm going to deal with
pool = Pool(8)
manager = Manager()
queue = manager.Queue()
db = sqlalchemy.create_engine()
for data in data_list:
queue.put(db)
pool.apply_async(func=process, args=(data, db)) # This is 1st way I try
pool.apply_async(func=process, args=(data, queue)) # This is 2nd way I try我试着用这两种方法，但它们都会引起错误。
第一种方法是在执行Broken Pipe Error时引发with db.connect() as connection。
第二种方法是引发Can't pickle local object 'create_engine.<locals>.connect'错误。
我搜索这个问题，发现一些人说共享连接池到子进程是可行的，但是我应该如何与多进程共享引擎呢？
回答 1
Stack Overflow用户
回答已采纳
发布于 2022-08-22 10:53:42
作为@charchit的注释，这里是关于使用sqlalchemy进行多处理的文档。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/72726503
复制相关文章
相似问题
腾讯云开发者
