Neptune - 机器学习实验管理神器
做机器学习项目最烦啥?要我说就是管理各种实验记录。今天跑了一堆模型,改了好多参数,过两天再看咋就不记得哪组参数效果最好了?Neptune 这个工具就是专门解决这个痛点的,它能帮咱们记录、组织和比较各种机器学习实验。
1.
快速上手
装Neptune超简单,pip一下就搞定:
pip install neptune-client
来看看咋用,先导入需要的包:
import neptune
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
# 初始化Neptune,记得换成你自己的项目名
neptune.init(project='用户名/项目名')
# 创建新实验
run = neptune.create_run()
温馨提示:第一次用得先去 Neptune 官网注册个账号,还要创建个项目才行。不过放心,有免费版本够咱们用了。
2.
记录实验参数
Neptune 最牛的地方就是能帮咱们记录各种实验数据:
# 加载数据集
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target)
# 设置模型参数
params = {
'n_estimators': 100,
'max_depth': 5
}
# 记录参数
run['parameters'] = params
# 训练模型
rf = RandomForestClassifier(**params)
rf.fit(X_train, y_train)
score = rf.score(X_test, y_test)
# 记录结果
run['test_score'] = score
3.
可视化结果
光记录数据没意思,Neptune还能画图:
import matplotlib.pyplot as plt
plt.plot([1, 2, 3, 4], [score]*4)
plt.title('测试准确率')
# 上传图表
run['visualizations'].upload(plt.gcf())
温馨提示:记得及时关闭实验,不然会一直记录:
run.stop()
4.
项目管理小技巧
给实验加个标签和描述,后面找起来就方便多了:
run['sys/description'] = '这是我的第一个实验'
看完是不是觉得特别爽?不用再到处找实验记录了,打开网页就能看到所有实验的参数和结果,还能比较不同实验之间的差异。啥时候想复现实验结果,所有代码和参数都在那躺着呢。
对了,Neptune还支持团队协作,大家的实验都能在一块看,再也不用担心实验结果发给队友找不着了~
点点赞
领取专属 10元无门槛券
私享最新 技术干货