问在同一台机器上托管多个模型的AWS SageMaker (ML计算实例)

EN

SageMaker旨在解决规模上的部署问题，您希望每秒钟有数千次模型调用。对于这样的用例，您希望在每个实例上具有相同模型的多个任务，并且通常在负载均衡器和自动缩放组后面为同一个模型拥有多个实例，以允许根据需要进行向上和向下扩展。

如果您不需要这样的规模，而且对于您需要处理的每秒请求来说，甚至拥有单个模型的一个实例都不经济，那么您可以将经过SageMaker培训的模型自己托管在一些服务框架中，比如MXNet服务(https://github.com/awslabs/mxnet-model-server )或TensorFlow服务(https://www.tensorflow.org/serving/ )。

还请注意，您可以控制用于宿主的实例类型，并且可以为较小的负载选择一个较小的实例。下面是可以从中选择的各种实例类型的列表：https://aws.amazon.com/sagemaker/pricing/instance-types/

我相信这是一个新的功能介绍在AWS的sagemaker，请参考下面的链接，这正是这样做。

是的，现在在AWS中，您可以在同一个ML实例中部署多个模型。

在下面链接中，functionality/

你可以找到例子，

• multi_model_bring_your_own
• multi_model_sklearn_home_value
• multi_model_xgboost_home_value

另一个链接，详细解释了多模型XGboost。https://aws.amazon.com/blogs/machine-learning/save-on-inference-costs-by-using-amazon-sagemaker-multi-model-endpoints/

希望这对任何希望在未来解决这个问题的人都有帮助。