如何在CDSW上分布式运行GridSearch算法

Fayson

发布于 2018-08-03 14:42:12

1.1K0

发布于 2018-08-03 14:42:12

文章被收录于专栏：Hadoop实操

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。
Fayson的github： https://github.com/fayson/cdhproject
提示：代码块部分可以左右滑动查看噢

1.文档编写目的

在前面的文章Fayson介绍了《如何在CDH中使用PySpark分布式运行GridSearch算法》，本篇文章Fayson主要介绍如何在CDSW上向CDH集群推送Gridsearch算法进行分布式计算。

内容概述

1.环境准备

2.CDSW运行环境及示例代码准备

3.CDSW运行示例代码

4.总结

测试环境

1.CM和CDH版本为5.13.1

2.Redhat7.2

3.Spark2.2.0

4.CDSW1.2.2

前置条件

1.CDH集群正常运行

2.CDSW集群已部署则正常运行

2.环境准备

1.在CDH集群的所有节点执行如下命令安装OS依赖包

[root@ip-172-31-6-83 shell]# yum -y install gcc python-devel

（可左右滑动）

2.在CDH集群的所有节点安装scikit-learn的python依赖

[root@cdh1 ~]<20180716 15:24:42># pip install scikit-learn

（可左右滑动）

[root@cdh1 ~]<20180716 15:06:25># pip show scikit-learn
Name: scikit-learn
Version: 0.18.1
Summary: A set of python modules for machine learning and data mining
Home-page: http://scikit-learn.org
Author: Andreas Mueller
Author-email: amueller@ais.uni-bonn.de
License: new BSD
Location: /opt/cloudera/parcels/Anaconda-4.3.1/lib/python2.7/site-packages
Requires: 
[root@cdh1 ~]<20180716 15:06:32>#

（可左右滑动）

注意：这里需要在集群的所有节点安装，GridSearch算法分布式计算时会调用当前节点scikit-learn依赖。

3.在集群所有节点安装spark-learn的python依赖包

[root@cdh1 ~]<20180716 15:34:21># pip install spark-sklearn

（可左右滑动）

注意：如果你的spark作业以cluster模式提交则必须确保所有节点安装了spark-sklearn依赖包，如果以client模式提交则只需在提交的节点上安装spark-learn依赖包即可。

3.CDSW运行环境及示例代码准备

1.登录CDSW，创建一个pyspark工程

2.打开Workbench并启动会话

3.在对话窗口执行pip install命令安装spark-sklearn和scikit-learn依赖包

!pip install scikit-learn
!pip show scikit-learn

（可左右滑动）

!pip install spark-sklearn
!pip show spark-sklearn

（可左右滑动）

4.在pyspark_gridsearch工程下创建gridsearch.py文件，编写pyspark代码示例代码，内容如下

# -*- coding: utf-8 -*-

from sklearn import svm, datasets
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
from spark_sklearn.grid_search import GridSearchCV
from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("PySpark_GridSearch") \
    .getOrCreate()

# Loading the Digits dataset
digits = datasets.load_digits()

# To apply an classifier on this data, we need to flatten the image, to
# turn the data in a (samples, feature) matrix:
n_samples = len(digits.images)
X = digits.images.reshape((n_samples, -1))
y = digits.target

# 将数据集分成训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=0)

# 设置gridsearch的参数
tuned_parameters = [{'kernel': ['rbf'], 'gamma': [1e-3, 1e-4],
                     'C': [1, 10, 100, 1000]},
                    {'kernel': ['linear'], 'C': [1, 10, 100, 1000]}]

#设置模型评估的方法.如果不清楚,可以参考上面的k-fold章节里面的超链接
score = 'precision'
#构造这个GridSearch的分类器,5-fold
svr = svm.SVC()
clf = GridSearchCV(spark.sparkContext, svr, tuned_parameters, cv=5, scoring='%s_weighted'% score)

#只在训练集上面做k-fold,然后返回最优的模型参数
clf.fit(X_train, y_train)
#输出GridSearch计算结果
clf.cv_results_

#在测试集上测试最优的模型的泛化能力.
y_true, y_pred = y_test, clf.predict(X_test)
print(classification_report(y_true, y_pred))

（可左右滑动）