模型训练和部署-Iris数据集

温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github: https://github.com/fayson/cdhproject

提示:代码块部分可以左右滑动查看噢

1.文档编写目的


在前面的文章Fayson介绍了关于《CDSW1.4的新功能》、《Hadoop之上的模型训练 - CDSW1.4新功能模块》、《CDSW1.4的Experiments功能使用》、《Hadoop之上的模型部署 - CDSW1.4新功能模块》及《CDSW1.4的Models功能-创建和部署模型(QuickStart)》。本篇文章Fayson会使用CDSW内置的Python模板项目来引导完成端到端的实操示例,即包含从模型创建,训练到部署或投产。我们使用CDSW的实验模块来开发和训练模型,然后使用模型模块的功能来进行部署。

此示例使用Fisher and Anderson的标准Iris数据集构建一个模型,该模型根据花瓣的长度预测花瓣的宽度。

Fisher and Anderson参考:

https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1469-1809.1936.tb02137.x

Iris数据集参考:

https://archive.ics.uci.edu/ml/datasets/iris

  • 内容概述

1.创建项目

2.训练模型

3.部署模型

4.总结

  • 测试环境说明

1.CM和CDH版本为5.15

2.CDSW版本为1.4

3.操作系统为RedHat7.4

2.创建示例工程


1.你可以在CDSW打包的Pyton模板项目中找到这个示例脚本。首先,从Python模板创建一个新项目:登录CDSW平台创建一个Python模板的工程

工程创建成功,进入工程目录列表

cdsw-build.sh:主要用于模型和实验构建的自定义脚本,在部署模型和试验是会使用pip命令安装我们指定的依赖项,这里主要使用到scikit-learn库。

fit.py:作为试验的模型训练示例。生成包含模型拟合参数的model.pkl文件。

predict.py:作为模型部署的示例函数。调用fit.py生成的model.pkl来预测花瓣宽度。

3.训练模型


1.进入test-models工程点击“Experiments”,进入该工程的试验列表

2.点击“Run Experiment”,使用fit.py创建一个Experiment

注意:确保使用Python3环境运行。

3.点击“Start Run”,新的实验在列表中显示,点击实验ID进入查看详细,可以看到实验概述,点击Session和Build可以看到实时的查看实验的构建及运行进度

4.等待实验运行成功,在Overview界面可以看到该实验输出的model.pkl文件

勾选model.pkl,点击“Add to Project”将生成的model.pkl文件添加到我们的test-models工程里。

4.部署模型


我们使用predict.py脚本来部署模型,该脚本中包含了predict函数,花瓣长度为该函数输入参数,并使用上一步训练的模型来预测花瓣的宽度。

1.进入test-models工程页面,点击“Models”

2.点击“New Model”创建一个新的Model,确保使用Python3环境运行

3.点击“Deploy Model”

在Models列表可以看到刚部署的模型状态为Pending状态,等待Model部署成功

4.点击“test-model”进入模型部署的详细界面,包含模型的部署,构建,监控以及设置等模块

Overview界面还提供了Model功能测试

5.提供了API接口调用模型,同时也提供了Python和R调用示例代码,如下Fayson在命令行测试:

curl -H "Content-Type: application/json" -X POST http://cdh05.fayson.com/api/altus-ds-1/models/call-model -d '{"accessKey":"mrsqqfchljq5n1sp24r12ab4byai2uzh","request":{"petal_length":5.4}}'

(可左右滑动)

参考:

https://www.cloudera.com/documentation/data-science-workbench/latest/topics/cdsw_models_examples.html

提示:代码块部分可以左右滑动查看噢

为天地立心,为生民立命,为往圣继绝学,为万世开太平。 温馨提示:如果使用电脑查看图片不清晰,可以使用手机打开文章单击文中的图片放大查看高清原图。

原文发布于微信公众号 - Hadoop实操(gh_c4c535955d0f)

原文发表时间:2018-08-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏简书专栏

深度学习环境搭建-CUDA9.0、cudnn7.3、tensorflow_gpu1.10的下载

本文作者接触深度学习2个月后,开始进行目标检测实践。 本文作者的专题《目标检测》链接:https://www.jianshu.com/c/fd1d6f784c...

54420
来自专栏小鹏的专栏

刚开始玩openMP,总结一下遇到的一点小问题。

        首先,VS中设置步骤:         工程属性 —> C/C++ —> language 中的Open MP Suport中选择Yes 就OK...

22890
来自专栏IMWeb前端团队

3分钟13行代码搭建sass版移动端网格系统

本文作者:IMWeb 结一 原文出处:IMWeb社区 未经同意,禁止转载 一般来说,网格系统分为container、row及column三大部分,而c...

22870
来自专栏desperate633

第九课 汇总数据聚集函数聚集不同的值

8920
来自专栏ATYUN订阅号

小白也可以操作的手机TensorFlow教程:Android版和iOS版

TensorFlow通常用于训练海量数据,但新兴的智能手机市场也不可忽略。那些不能等待未来和love Machine Learning的人正在通过制造工具来突破...

41560
来自专栏枕边书

分布算法之一致性哈希算法

在进行大型网站的web开发时,分布式这个词经常出现在我们面前。如: memcache、redis服务器等缓存服务器的负载均衡(分布式cache), MySQL的...

27190
来自专栏Deep learning进阶路

caffe随记(六)---tools工具举例

经过前面几篇博文的介绍,我们已经对caffe有了个大概的了解,知道它的数据结构,而且也尝试了caffe的Hello World---mnist例程。 前一篇博文...

23700
来自专栏Python中文社区

手把手教你用1行代码实现人脸识别

專 欄 ❈Kangvcar,Python爱好者,简书活跃作者,欢迎关注,打赏支持。❈ 环境要求: Ubuntu17.10 Python 2.7.14 环境...

3K100
来自专栏weixuqin 的专栏

深度学习之 TensorFlow(三):TensorFlow 源代码解析

44560
来自专栏Small Code

使用 tree 命令格式化输出目录结构

今天在写一个 Markdown 文件的时候需要将一个目录的结构表示出来,于是找了找有没有相关命令,找到一个叫做 tree 的命令,Windows 和 Linux...

32680

扫码关注云+社区

领取腾讯云代金券