在Azure ACI (容器)或AKS (Kubernetes)上部署ML模型
在Azure ACI (容器)或AKS (Kubernetes)上部署ML模型
提问于 2020-12-06 15:02:03
我正在探索以最具成本效益的方式为我训练过的ML模型提供服务的方法。
我目前有4个不同的模型，其中第一个模型的输出是第二个模型的输入的一部分，依此类推。
目前的用户基础非常小，所需的推论数量很少，而且是零星的。即。每隔几个小时2-3次，甚至有几天没有推理。
首先，我使用ACI进行部署，但是由于某些原因，即使没有人访问端点，容器实例也会保持运行。我的印象是，实例应该自行停止，以避免对未使用的时间进行计费。
这是否与将模型部署为实时端点有关？当端点/模型未使用时，Kubernetes部署是否更合适(例如，它是否会缩减到0个节点)？
回答 1
Stack Overflow用户
发布于 2020-12-06 16:25:07
我将不得不仔细检查，但我相当确定您不能将部署在AKS上的模型缩减到零节点。也许可以考虑部署到Azure函数？
https://docs.microsoft.com/en-us/azure/machine-learning/how-to-deploy-functions
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/65165535
复制相关文章
相似问题
腾讯云开发者
