Windows 安装配置 PySpark 开发环境（详细步骤+原理分析）
Windows 安装配置 PySpark 开发环境（详细步骤+原理分析）
文章目录
-
1.Python开发Spark的环境配置详细步骤
1.1 Windows 配置 python 环境变量
这个比较简单，安装原生的 Python 或者 Anaconda 都可以，至于步骤这里就不多说了。
我这里用的Anaconda3，至于Anaconda3的安装配置，有兴趣的话可以参考：这篇blog
注意：如果使用的是 anaconda 安装的 python环境 并且打算学习 spark1.6 版本的开发，建议安装python3.5.x 版本，这个版本和 spark1.6 兼容
1.2 Windows 配置 spark 环境变量
我这里用的Spark版本 spark-2.3.1-bin-hadoop2.6.tgz
1. 解压并配置SPARK_HOME
1.3 Python中安装py4j
在 python 环境中安装 py4j 模块(python 调用 java API 的中间通信模块)
两种方式，我这里用的第（2）种
（1）进入python安装目录\Scripts使用pip install py4j
（2）或者将解压的spark安装包中的D:\spark-2.3.1-bin-hadoop2.6\python\lib\py4j拷贝到D:\ProgramData\Anaconda3\Lib\site-packages中。
验证py4j是否安装成功：python >>>import py4j回车
1.4 Python中安装PySpark模块
同样也是那两种方法
（1）使用pip安装pyspark。pip install pyspark 会安装最新的版本的pyspark。
（2）或者，将解压的spark安装包中的D:\spark-2.3.1-bin-hadoop2.6\python\pyspark拷贝到D:\ProgramData\Anaconda3\Lib\site-packages中
验证pyspark模块是否安装成功
如果启动遇到下面错误： ERROR Shell:396 - Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
说明你的电脑没有配置 hadoop ，解决办法可以参考：这篇博客
WordCount 测试环境是否配置成功
先来个WordCount试试（我这里用的 PyCharm）
（1）新建一个 txt 文件
（2）运行下面示例代码
#coding:utf-8
from pyspark import SparkConf
from pyspark import SparkContext
if __name__ == '__main__':
conf=SparkConf()
conf=conf.setAppName("wordcount").setMaster("local")
sc=SparkContext(conf=conf)
lines=sc.textFile("word.txt",2)
print("lines rdd partition length = %d"%(lines.getNumPartitions()))
result=lines.flatMap(lambda line:line.split(" ")).map(lambda word:(word,1)).reduceByKey(lambda v1,v2:v1+v2,3)
print("result rdd partition length = %d"%(lines.getNumPartitions()))
result.foreach(lambda x:print(x))
result.saveAsTextFile("result")运行结果如下：
说明配置的完全没毛病。
2. Python 开发 Spark原理
使用 python api 编写 pyspark 代码提交运行时，为了不破坏 spark 原有的运行架构，会将写好的代码首先在 python 解析器中运行(cpython)，Spark 代码归根结底是运行在 JVM 中的，这里 python 借助 Py4j 实现 Python 和 Java 的交互,即通过 Py4j 将 pyspark 代码“解析”到 JVM 中去运行。例如，在 pyspark 代码中实例化一个 SparkContext 对象，那么通过 py4j 最终在 JVM 中会创建 scala 的 SparkContext 对象及后期对象的调用、在 JVM 中数据处理消息的日志会返回到 python 进程中、如果在代码中会回收大量结果数据到 Driver 端中，也会通过 socket 通信返回到 python 进程中。这样在python进程和JVM进程之间就有大量通信。
python开发spark，需要进行大量的进程间的通信，如果通信量过大，会出现“socket write error”错误。因此，应尽量少使用回收数据类算子，也可以调节回收日志的级别，降低进程之间的通信。