首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark on windows 对 windows及python版本不怎么挑,但是对 spark 版本要求极其苛刻,比如 spark1.6.1 就无法运行。
安装spark第一步就是安装jdk(无论windows还是linux),spark执行依赖jdk。在oracle官网上下载jdk,这里我选择的是8u74 windows x64版本,你也可以根据自己的需求下载,jdk的安装在此不表,无非就是下一步,选安装路径什么的。
关于具体的 jdk path 怎么设置可以参考 hadoop on windows 这个系列,在此不再赘述:
http://my.oschina.net/leejun2005/blog?catalog=3609138
在Apache Spark™官方网站下载spark,选择spark-1.6.0-bin-hadoop2.6.tgz。
添加spark环境变量,在PATH后面追加: %SPARK_HOME%\bin %SPARK_HOME%\sbin
windows 环境下的spark搭建完毕!!!
注意此处有坑:
Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
spark虽然支持standalone模式,并且不依赖hadoop。但是在windows环境下还是需要hadoop的这个winutils.exe。因此需要下载2.6版本匹配的winutils.exe. 可以google "hadoop.dll 2.6" 或在此下载(hadoop dll 2.6.0 winutils.exe,epclipse插件),将下载后的文件覆盖至hadoop的bin目录(没有自己建个目录设置相应hadoop环境变量即可)。
spark支持scala、python和java,由于对python的好感多于scala,因此开发环境是Python。 下面开始搭建python环境:
2.7或3.5均可,安装过程在此不表,安装完成后在环境变量里添加PYTHONPATH,这一步很重要:
如果配置正确,打开python自带的IDE,输入以下代码,然后等待连接成功的消息即可:
from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local").setAppName("MY First App")
sc = SparkContext(conf = conf)
也可以手动启动测试下:
spark-class.cmd org.apache.spark.deploy.master.Master
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://localhost:7077
# coding=utf-8
# 测试utf-8编码
from __future__ import division
import decimal
from pyspark import SparkConf, SparkContext, StorageLevel
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
conf = SparkConf().setMaster("local").setAppName("CSDN_PASSWD_Top10")
sc = SparkContext(conf=conf)
file_rdd = sc.textFile("H:\mysql\csdn_database\www.csdn.net.sql")
passwds = file_rdd.map(lambda line: line.split("#")[1].strip()).map(lambda passwd: (passwd, 1)).persist(
storageLevel=StorageLevel.MEMORY_AND_DISK_SER)
passwd_nums = passwds.count()
top10_passwd = passwds.reduceByKey(lambda a, b: a + b).sortBy(lambda item: item[1], ascending=False).take(10)
for item in top10_passwd:
print item[0] + "\t" + str(item[1]) + "\t" + str(round(decimal.Decimal(item[1] / passwd_nums), 4) * 100) + "%"
# 123456789 235037 3.66%
# 12345678 212761 3.31%
# 11111111 76348 1.19%
# dearbook 46053 0.72%
# 00000000 34953 0.54%
# 123123123 20010 0.31%
# 1234567890 17794 0.28%
# 88888888 15033 0.23%
# 111111111 6995 0.11%
# 147258369 5966 0.09%
# 最后来验证一下数据:
# 数据量:650w 记录,pyspark 耗时 3分54秒,机器配置:i5 cpu,4G MEM,250G SSD,win8.1 操作系统,python 2.7.11
# awk -F"#" 'a[$2]++{for(i in a)print i"\t"a[i]}' www.csdn.net.sql|sort -k2nr|head -10
# cygwin 下性能太差,等待半小时无结果,Kill
# grep -F '# 123456789 #' www.csdn.net.sql|wc -l
# 235012
# awk -F'#' '{print $2}' www.csdn.net.sql|grep -P '\s+123456789\s+'|wc -l
# 235033
# awk -F'#' '{print $2}' www.csdn.net.sql|grep -E '^123456789$'|wc -l
# 0
# awk -F'#' '{print $2}' www.csdn.net.sql|grep -E ' 123456789$'|wc -l
# 5
# awk -F'#' '{print $2}' www.csdn.net.sql|grep -E '^123456789 '|wc -l
# 0
[1] Spark 入门(Python、Scala 版)
http://my.oschina.net/leejun2005/blog/411605
[2] Spark Streaming Programming Guide
http://spark.apache.org/docs/latest/streaming-programming-guide.html
[3] 如何在windows安装部署spark 求大神们的告知...?
https://www.zhihu.com/question/35973656
[4] spark在windows下的安装
http://www.cnblogs.com/harrychinese/p/spark_install_on_windows.html
http://nishutayaltech.blogspot.com/2015/04/how-to-run-apache-spark-on-windows7-in.html
http://bbs.csdn.net/topics/391835718
http://stackoverflow.com/questions/32948743/cant-start-apache-spark-on-windows-using-cygwin
[5] Spark本地模式运行
http://blog.javachen.com/2015/03/30/spark-test-in-local-mode.html
[6] Spark编程指南笔记
http://blog.javachen.com/2015/02/03/spark-programming-guide.html
[7] Spark RDD API详解(一) Map和Reduce
https://www.zybuluo.com/jewes/note/35032
[8] Spark算子系列文章
http://lxw1234.com/archives/2015/07/363.htm
spark中的action和transformation
http://blog.csdn.net/egraldloi/article/details/16343733
[9] Spark性能优化指南——基础篇
http://tech.meituan.com/spark-tuning-basic.html
[10] Spark性能优化指南——高级篇
http://tech.meituan.com/spark-tuning-pro.html
[11] Spark性能优化——和shuffle搏斗
[12] Spark数据分析实战:大型活动大规模人群的检测和疏散