学习
实践
活动
专区
工具
TVP
写文章

Google推出Vertex Pipelines简化自动化机器学习流程构建

Google宣布推出Vertex Pipelines,供用户构建机器学习工作管线,来加速机器学习工作流程。Vertex Pipelines为一个无服务器服务,能够执行由Kubeflow Pipelines(KFP)或TensorFlow Extended(TFX)开源函数库所定义的工作管线。

Google解释,要扩展机器学习工作流程最好的方式,是将工作流程以工作管线的方式运行,每个工作管线的步骤,都是机器学习过程的各个部分,工作管线能够在企业中进行生产、共享,并且可靠地复制机器学习工作流程,Google认为,工作管线也是MLOps的关键,用户可以构建系统来自动重新训练和部署模型。

而机器学习工作管线便是将机器学习流程,封装成一系列步骤,工作管线中的每一步骤都是一个容器,每一步的输出都可作为下一步骤的输入,但这样的方法会出现两个问题需要解决,第一是用户需要将每个步骤转换成为容器,第二则是需要配置基础设施来大规模执行工作管线。

第一个问题可以使用开源函数库解决,KFP和TFX可将工作管线步骤转换成为容器,并且管理工作管线中的输入和输出,因此用户可以使用KFP和TFX来定义工作管线,并在Vertex Pipelines上执行。另外,Vertex Pipelines是完全无服务器服务,因此就能解决第二个问题,当用户上传执行KFP或TFX工作管线时,Vertex AI能够处理配置和扩展基础设施。

Vertex Pipelines、Vertex AI以及其他Google工具紧密集成,因此用户的机器学习工作管线,可以从BigQuery导入资料开始,使用Vertex AI训练模型,接着在Cloud Storage存储工作管线构件,最后获取模型评估指标,并且将模型部署到Vertex AI端点,这些步骤都可以在Vertex Pipeline中配置。Google也创建了一个Vertex Pipelines预构建组件库,这些组件将有助于简化在工作管线中,执行Vertex AI其他部分的过程,像是创建资料集或是训练AutoML模型。

Google提到,要借由工作管线来产生每部分的输出,需要有一种机制,跨工作管线执行创建指标和关注构件,当团队中有多人参与开发和执行工作管线,或是对不同机器学习任务,管理多个工作管线时,这样的机制会更加有用。而Google则通过集成Vertex Pipelines和Vertex ML的元数据,来实现自动化构件和指标等关注,用户在Vertex AI控制台和Vertex AI SDK,都可以检查工作管线元数据。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20211112A088BD00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

关注

腾讯云开发者公众号
10元无门槛代金券
洞察腾讯核心技术
剖析业界实践案例
腾讯云开发者公众号二维码

扫码关注腾讯云开发者

领取腾讯云代金券