MLflow 是一个开源平台,专门用于帮助机器学习从业者和团队处理机器学习过程的复杂性。 MLflow 专注于机器学习项目的整个生命周期,确保每个阶段都是可管理、可追溯和可再现的。本文通过示例简单介绍如何在 EMR 上使用 MLflow,详细的使用文档可参见 MLflow 官网文档。
前提条件
访问 MLflow WebUI
1. 您可以在购买集群时在 MLflow 服务编辑部署页面开启外网访问,或者购买集群后进入集群控制台集群服务,选择 MLflow 服务,在角色管理中单击开启网络访问。
2. 开启网络访问后,单击右上角查看 WebUI 即可打开 MLflow WebUI(需安全组开启5000端口)。
使用示例
MLflow Tracking 是 MLflow 的主要服务组件之⼀,本文以 notebook 演示使用 MLflow Tracking 为示例,代码示例可参见 MLflow 官网快速入门。
操作步骤可分为:准备数据集,训练模型并将模型及其元数据记录到 MLflow,将模型加载为 Python 函数,使用加载的模型对新数据进行预测。
上述操作执行后,您可以在 MLflow UI 中查看运行结果,如下图,单击运行任务名称,即可进入详情页查看更多信息。

