MLflow 开发指南

最近更新时间:2025-01-07 18:04:03

我的收藏
MLflow 是一个开源平台,专门用于帮助机器学习从业者和团队处理机器学习过程的复杂性。 MLflow 专注于机器学习项目的整个生命周期,确保每个阶段都是可管理、可追溯和可再现的。本文通过示例简单介绍如何在 EMR 上使用 MLflow,详细的使用文档可参见 MLflow 官网文档

前提条件

已创建 EMR on TKE 的机器学习集群,并选择了 MLflow 服务,详情请参见 创建集群

访问 MLflow WebUI

1. 您可以在购买集群时在 MLflow 服务编辑部署页面开启外网访问,或者购买集群后进入集群控制台集群服务,选择 MLflow 服务,在角色管理中单击开启网络访问
2. 开启网络访问后,单击右上角查看 WebUI 即可打开 MLflow WebUI(需安全组开启5000端口)。

使用示例

MLflow Tracking 是 MLflow 的主要服务组件之⼀,本文以 notebook 演示使用 MLflow Tracking 为示例,代码示例可参见 MLflow 官网快速入门
操作步骤可分为:准备数据集,训练模型并将模型及其元数据记录到 MLflow,将模型加载为 Python 函数,使用加载的模型对新数据进行预测。
上述操作执行后,您可以在 MLflow UI 中查看运行结果,如下图,单击运行任务名称,即可进入详情页查看更多信息。