首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >引擎与顶点AI (AI平台统一)的模型预测

引擎与顶点AI (AI平台统一)的模型预测
EN

Stack Overflow用户
提问于 2021-06-11 03:24:42
回答 2查看 1.4K关注 0票数 2

随着谷歌最近发布了整合了所有顶点AI平台的MLOps,我想知道在GKE顶点AI (或AI平台统一版)上为一个经过自定义培训的PyTorch/Tensorflow模型提供服务有什么区别,因为刚刚进行了品牌重组,而AI平台已经提供了提供模型预测的能力。

我做了很多研究,但发现这方面的信息很少。我已经在GKE上托管了我的ML模型,是否值得迁移到顶点AI?

注意:我还没有计划在云上进行培训和其他数据预处理。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2021-06-15 14:09:29

值得考虑的是,顶点AI:

顶点AI是一个“管理的”ML平台,为从业者加速实验和部署人工智能模型。在部署/培训/预测ML模型时,我们不需要管理基础设施/服务器/健康状况。顶点AI会照顾你,并根据流量缩放。

有助于考虑顶点AI的一些关键特性:

  1. 顶点AI简化模型开发

一旦对模型进行了训练,我们就会得到详细的模型评估指标和特征属性。(特征属性告诉模型中哪些特征最能显示模型的预测,从而深入了解模型在引擎盖下的表现)

  1. 具有端点的可伸缩部署

一旦对模型进行了培训,就可以将其部署到端点。模型之间的通信量可以分割用于测试,机器类型也可以定制。

  1. 使用顶点管道编排工作流

顶点管道有助于避免模型漂移的概念,当模型周围的环境发生变化时,就会发生这种情况。顶点管道可以帮助自动化这一保留工作流。

  1. 使用顶点AI监视已部署的模型

顶点模型监控可以用来检测诸如漂移和训练服务-倾斜之类的东西,因此,与其手动检查以确保模型仍然正确运行,使用顶点AI提供了对模型可靠性的信心,因为我们会随时收到通知。

票数 4
EN

Stack Overflow用户

发布于 2021-11-11 20:39:28

我也一直在探索使用顶点AI进行机器学习。在使用自定义容器提供模型预测时,我发现以下几点很有用:

  • 在顶点AI上提供来自自定义容器的预测,而不是GKE集群,可以使您摆脱对基础设施的管理。就成本而言,GKE自动驾驶仪集群似乎比顶点AI更昂贵,但在GKE标准模式的情况下,差别并不那么明显。标准模式下的计算引擎定价低于相似顶点AI节点的计算引擎定价,但标准模式下增加了集群管理费用。
  • 我对人工智能平台的探索并不多,但是在顶点AI中,唯一可用的预测机器类型是"N1",它不能被缩小到0,至少有1将始终运行。从成本的角度来看,这是一个重要的问题,特别是当您部署多个模型时,因为每个模型都有独立于其他模型的关联节点,而且节点的缩放也发生在节点级别上。尽管有解决办法,能够从一个节点服务多个模型,但是我越倾向于定制模型和这样的解决方案,顶点AI的唯一优势似乎就越多,即不必管理预测服务基础设施。通常,当某人使用自定义预测容器时,需要进行大量的预处理和后处理。所有这些逻辑都包含在自定义容器中。我仍在阅读文档,但根据我迄今所见,许多顶点AI特性,如模型监视,如果使用AutoML模型,可以解释的ai看起来非常简单,而如果您使用的是自定义模型,则需要进行一些配置。这种配置是多么的简单,我还没有弄清楚。
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/67930882

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档