专栏首页AI派如何使用sklearn进行在线实时预测(构建真实世界中可用的模型)

如何使用sklearn进行在线实时预测(构建真实世界中可用的模型)

推荐阅读时间:10min~12min 主题:如何构建真实世界可用的ML模型

Python 作为当前机器学习中使用最多的一门编程语言,有很多对应的机器学习库,最常用的莫过于 scikit-learn 了。我们介绍下如何使用sklearn进行实时预测。先来看下典型的机器学习工作流。

解释下上面的这张图片:

  • 绿色方框圈出来的表示将数据切分为训练集和测试集。
  • 红色方框的上半部分表示对训练数据进行特征处理,然后再对处理后的数据进行训练,生成 model。
  • 红色方框的下半部分表示对测试数据进行特征处理,然后使用训练得到的 model 进行预测。
  • 红色方框的右下角部分表示对模型进行评估,评估可以分为离线和在线。

典型的 ML 模型

介绍完了典型的机器学习工作流了之后,来看下典型的 ML 模型。

import numpy as np
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.ensemble import RandomForestClassifier

# 加载鸢尾花数据
iris = load_iris()
# 创建包含特征名称的 DataFrame
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['species'] = pd.Categorical.from_codes(iris.target, iris.target_names)

# 生成标记,切分训练集、测试集
df['is_train'] = np.random.uniform(0, 1, len(df)) <= .75
train, test = df[df['is_train']==True], df[df['is_train']==False]

# 生成 X 和 y
features = df.columns[:4]
y = pd.factorize(train['species'])[0]

model = RandomForestClassifier(n_jobs=2)

# 训练模型
model.fit(train[features], y)
# 预测数据
model.predict(test[features])

上面的模型对鸢尾花数据进行训练生成一个模型,之后该模型对测试数据进行预测,预测结果为每条数据属于哪种类别。

模型的保存和加载

上面我们已经训练生成了模型,但是如果我们程序关闭后,保存在内存中的模型对象也会随之消失,也就是说下次如果我们想要使用模型预测时,需要重新进行训练,如何解决这个问题呢?

很简单,既然内存中的对象会随着程序的关闭而消失,我们能不能将训练好的模型保存成文件,如果需要预测的话,直接从文件中加载生成模型呢?答案是可以的。

sklearn 提供了 joblib 模型,能够实现完成模型的保存和加载。

from sklearn.externals import joblib

# 保存模型到 model.joblib 文件
joblib.dump(model, "model.joblib" ,compress=1)

# 加载模型文件,生成模型对象
new_model = joblib.load("model.joblib")

new_pred_data = [[0.5, 0.4, 0.7, 0.1]]
# 使用加载生成的模型预测新样本
new_model.predict(new_pred_data)

构建实时预测

前面说到的运行方式是在离线环境中运行,在真实世界中,我们很多时候需要在线实时预测,一种解决方案是将模型服务化,在我们这个场景就是,我告诉你一个鸢尾花的 sepal_length, sepal_width, petal_length, petal_width 之后,你能够快速告诉我这个鸢尾花的类型,借助 flask 等 web 框架,开发一个 web service,实现实时预测。

因为依赖于 flask 框架,没有安装的需要安装下:

pip install flask

创建一个 ml_web.py 文件,内容如下:

# coding=utf-8
from urlparse import urljoin

import flask
from flask import Flask, request, url_for, Response
from sklearn.externals import joblib

app = Flask(__name__)

# 加载模型
model = joblib.load("model.joblib")


@app.route("/", methods=["GET"])
def index():
    with app.test_request_context():
        # 生成每个函数监听的url以及该url的参数
        result = {"predict_iris": {"url": url_for("predict_iris"),
                                   "params": ["sepal_length", "sepal_width", "petal_length", "petal_width"]}}

        result_body = flask.json.dumps(result)

        return Response(result_body, mimetype="application/json")


@app.route("/ml/predict_iris", methods=["GET"])
def predict_iris():
    request_args = request.args

    # 如果没有传入参数,返回提示信息
    if not request_args:
        result = {
            "message": "请输入参数:sepal_length, sepal_width, petal_length, petal_width"
        }
        result_body = flask.json.dumps(result, ensure_ascii=False)
        return Response(result_body, mimetype="application/json")

    # 获取请求参数
    sepal_length = float(request_args.get("sepal_length", "-1"))
    sepal_width = float(request_args.get("sepal_width", "-1"))
    petal_length = float(request_args.get("petal_length", "-1"))
    petal_width = float(request_args.get("petal_width", -1))

    # 构建特征矩阵
    vec = [[sepal_length, sepal_width, petal_length, petal_width]]
    print("vec: {0}".format(vec))

    # 生成预测结果
    predict_result = int(model.predict(vec)[0])
    print("predict_result: {0}".format(predict_result))

    # 构造返回数据
    result = {
        "features": {
            "sepal_length": sepal_length,
            "sepal_width": sepal_width,
            "petal_length": petal_length,
            "petal_width": petal_width
        },
        "result": predict_result
    }

    result_body = flask.json.dumps(result, ensure_ascii=False)
    return Response(result_body,  mimetype="application/json")


if __name__ == "__main__":
    app.run(port=8000)

在命令行启动它:

$ python ml_web.py
 * Running on http://127.0.0.1:8000/ (Press CTRL+C to quit)

在 PostMan(也可以在浏览器中打开) 中打开 http://127.0.0.1:8000/ml/predict_iris ,得到以下结果:

可以看到,这里提示我们输入 sepal_length, sepal_width, petal_length, petal_width 参数,所以我们需要添加上参数重新构造一个请求 url:http://127.0.0.1:8000/ml/predict_iris?sepal_length=10&sepal_width=1&petal_length=3&petal_width=2

再次请求得到的结果如下:

可以看到,模型返回的结果为 2,也就是说模型认为这个鸢尾花的类别是 2。

总结

在真实世界中,我们经常需要将模型进行服务化,这里我们借助 flask 框架,将 sklearn 训练后生成的模型文件加载到内存中,针对每次请求传入不同的特征来实时返回不同的预测结果。

往期精彩回顾

BAT机器学习/深度学习面试300题

Numpy 精品系列教程汇总(你值得拥有)

谷歌机器学习43条黄金法则(手册版+PDF)

吴恩达|机器学习秘籍(Machine Learning Yearning)

作者:1or0,脑洞大开(www.naodongopen.com)签约作者,专注于机器学习研究。

本文分享自微信公众号 - AI派(naodong-open),作者:1or0

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python 用5行代码学机器学习—线性回归

    之前介绍的一些文章所使用到的机器学习模型,读者在第一次阅读的时候可能完全不了解或不会使用。

    abs_zero
  • Python奇淫技巧,5个数据可视化工具

    数据可视化的工具和程序库已经极大丰盛,当你习惯其中一种或数种时,你会干得很出色,但是如果你因此而沾沾自喜,就会错失从青铜到王者的新工具和程序库。如果你仍然坚持使...

    abs_zero
  • 如何进阶成为一名数据科学家?

    https://github.com/AAAlvin/Project_Folder/

    abs_zero
  • 过独木桥、踩砖块,波士顿动力Atlas机器人又get新技能

    波士顿动力的Atlas机器人又带来了“新表演”,最近,美国人类与机器认知研究所(IHMC)对外公布一段Atlas“过独木桥”的视频,这也意味着Atlas成功完成...

    镁客网
  • 常用shell命令

    用户2936342
  • 改VB.NET“偷懒”技巧

    【开篇胡侃】虽然搞软件开发很多年了,但似乎从没有动手写过什么(很丢脸的感觉),因为,我的精力都献给了我的其他爱好,比如健身、美食、旅游等等,反而把自己最该专注的...

    轻体V轻食V轻心
  • 修改Linux下已挂载的分区目录路径

    1、创建新的路径目录:先进入根目录:#cd / 然后创建需要创建的目录的路径:mkdir /home/wwwroot

    似水的流年
  • JAVA面试50讲之5:Vector,ArrayList,LinkedList的区别

    一组”对立”的元素,通常这些元素都服从某种规则   1.1) List必须保持元素特定的顺序   1.2) Set不能有重复元素   1.3) Queue保持一...

    用户1205080
  • Windows Phone 7 WebBrowser 中文乱码问题

    通过WebBrowser直接请求网页,是正常显示的,只是通过获取到字符串,再通过NavigateToString()就会显示乱码. 中文转换成 Unicode编...

    张善友
  • 大数据扛起互联网保险创新

      又是一年“双十一”,阿里巴巴以571亿元的交易额刷新纪录。在畅享消费盛宴的同时,互联网销售大数据为众多保险公司提供了必要的数据支持,同时成为其发展、创新的...

    腾讯研究院

扫码关注云+社区

领取腾讯云代金券