我正在使用python的多处理模块启动一个进程。此过程由django项目中发送的post请求调用。当我使用开发服务器(python manage.py runserver)时,post请求无需花时间启动进程并立即完成。
我使用nginx和uwsgi在生产上部署了这个项目。
现在,当我发送相同的帖子请求时,大约需要5-7分钟才能完成请求。这种情况只发生在我要开始处理的那些帖子请求中。其他职位要求工作良好。
这一延误的原因是什么?我怎么才能解决这个问题?
发布于 2016-08-23 06:04:35
我想出了一个解决办法(不知道这是否符合答案)。我将后台进程写成了数据库中的作业,并使用cron作业来检查是否有任何待定作业,如果有,cron将启动该作业的后台进程并退出。
每分钟运行一次,这样就不会有太多的延误了。这有助于提高性能,因为它帮助我执行像这样的繁重任务,以独立于主应用程序运行。
发布于 2016-08-16 12:53:28
基本上,后台处理需要在WSGI应用程序模块之外启动。
在WSGI中,python webapp进程将开始处理请求,请求的数量因配置而异。如果该进程产生一个新的进程,该进程将阻止WSGI进程处理新的请求,使服务器阻塞并等待它完成后再处理新的请求。
我建议您使用WSGI应用程序模块中的共享队列来输入在WSGI应用程序模块之外启动的进程。就像下面这样。这将为webapp模块之外的每个WSGI进程启动一个新处理器,以避免阻塞请求。
your_app/webapp.py
from . import bg_queue
def post():
# Webapp POST code here
bg_queue.add(<task data>)
your_app/processor.py
from multiprocessing import Process
class Consumer(Process):
def __init__(self, input_q):
self.input_q = input_q
def run(self):
while True:
task_data = input_q.get()
<process data>
your_app/__init__.py
from .processor import Consumer
bg_queue = Queue()
consumer = Consumer(bg_queue)
consumer.daemon = True
consumer.start()
https://stackoverflow.com/questions/38891879
复制相似问题