我使用Django为AI模型开发API,但是它的预测速度慢,我有很多请求需要时间通过AI API来执行,我需要帮助同时处理多个请求
发布于 2022-03-21 15:42:00
如果您的AI模型是无状态的,这意味着可以独立于以前的请求来处理新请求,那么您可以运行AI模型的多个实例。您可以使用带有多个副本的部署。然后,使用服务来实现实例之间的负载平衡。
https://stackoverflow.com/questions/71557592
相似问题