问对象检测Django Rest部署在Google平台或Google引擎上

EN

我假设您在本地或在承载Django应用程序的地方使用GPU。

第一件事是确保您正在使用tensorflow-gpu，并且完成了Cuda的所有必要设置。

您可以在Google平台(GCP)上轻松启动GPU实例。有多种方法可以做到这一点。

快速选择

• 搜索notebooks并使用所需的GPU和RAM启动一个新实例。如果您需要一些特定的操作系统，并且在选择机器方面需要更多的灵活性，则可以单独设置实例，而不是笔记本实例。使用details.
• Setup访问实例的
• 只需将ssh公钥添加到元数据中，就可以像在服务器上一样打开实例

Django时看到。要测试它，只需在主机0或0.0.0.0上运行它和首选端口.

• ，您可以使用机器的外部IP访问APIs，这可以在实例详细信息页.

中找到。

几点建议

虽然第一个选项是快速而肮脏的，但不建议在production.

• It中使用该选项，最好是使用一些部署服务，如tensorflow-serving和Kubeflow。如果您认为自己正在正确地处理推理，那么请确保负载平衡服务器。使用NGINX或任何其他好的服务器以及gunicorn/uwsgi.

• You可以使用redis进行队列管理。当有人调用API时，不必使用GPU进行推理。当您每秒对API的点击次数非常少时，不要使用它是很好的。但是当我们考虑到扩展时，想想一个GPU一次处理不了的50个请求，我们可以使用一个队列系统。

• 所有的请求应该首先直接发送到redis，而GPU则从队列中获取所需的任务。如果需要，您可以随时缩放GPU.

。

Google实际上提供了云GPU。如果您希望使用需要实时功能的应用程序执行更高级别的计算，我建议您查看下面的链接以获得更多信息。https://cloud.google.com/gpu/

计算引擎还提供可以添加到虚拟机实例中的GPU。使用GPU加速实例上的特定工作负载，如机器学习和数据处理。https://cloud.google.com/compute/docs/gpus/

但是，如果应用程序需要大量资源，则需要增加配额，以确保项目中有足够的GPU可用。确保选择一个GPU可用的区域。如果这需要更多的计算能力，则需要提交增加配额的请求。https://cloud.google.com/compute/docs/gpus/add-gpus#create-new-gpu-instance

由于您将使用Tensorflow API作为您在ML引擎上的应用程序，所以我建议您查看下面的链接。它提供了使用TensorFlow和其他预先安装的工具创建深度学习VM实例的说明。https://cloud.google.com/ai-platform/deep-learning-vm/docs/tensorflow_start_instance