SageMaker中的模型管理:模型包组的使用
我们有大量的模型，我们计划培训/测试/部署/使用。我们有几个级别的产品--从国家->区域->仓库仓库部门-> A级-> B级->产品ID等开始，其中一些模型将用于整个国家级别，一些Country+Region级别，当然，类似地，它将下降到B类和产品级。这意味着，如果有10,000种产品，我们将有10,000种型号的产品。在这种情况下，我们可以拥有10s的数千个模型，我们想知道如何管理这些模型。命名约定以及为便于查找而将它们组合在一起等也是模型管理的一部分。我们最初的想法是使用组对这些模型进行分组--这样我们就可以根据需要轻松地组织和找到它们。但是，我刚刚了解到，一个SageMaker模型包组是一个平面结构--这意味着一个模型包组不能包含另一个模型包组--因此不能使用复制这种分层的模型组织。
问题是:我们如何在生产中实现这种模式组织？这不是什么不寻常的情况，我相信有很多零售商正在处理像这样的模型管理场景。他们是怎么做到的？如果没有使用模型包，还可以使用什么来组织它们，以及如何组织它们？
如有任何建议/想法，将不胜感激。
谢谢
回答 1
Stack Overflow用户
发布于 2022-02-25 13:04:17
使用SageMaker模型注册中心，您可以通过创建包含*不同版本(一个模型)的model package groups来对模型进行编目。您可以创建一个model group来跟踪，您训练的所有模型都可以解决(一个特定的问题)。
因此，基本思想是，您有一个业务问题，您为它创建了一个组，并存储所有模型及其版本。
按照这个定义，将一个模型包组放在另一个模型包组下是一个无效的场景。这不是如何定义模型组，也不是如何使用模型组。
而且，这个问题不仅限于模型，你可以在任何地方看到它是s/w工程。不管是存储jar文件还是python包等等。
我建议将这个问题作为软件工程问题来处理，并依赖命名空间约定。而不是以分层的方式思考：Country -> Region -> Warehouse -> Department -> Class A -> Class B -> Product ID
我们能在country.region.warehouse.department.classA.classB.product_id里想一想吗？
类似于您也可能管理坞映像，您可以创建这样的名称空间，并深入到您想要的程度。你仍然尊重等级制度，但也不维护等级制度。
让我知道你对这种方法的看法。
https://stackoverflow.com/questions/70503281
复制相似问题
腾讯云开发者
