安装需要如下东西:
Anaconda3-2.4.1-Windows-x86_64.exe
pycharm-community-2016.1.4.exe
千万不要用默认路径Program Files,这个有空格后面会很坑!新建路径在C:\Java,Java安装在这里!
在 cmd
中输入 java
出现如下信息就算安装成功了
在C盘新建Spark
目录,将其解压到这个路径下
在C盘新建Hadoop
目录,将其解压到这个路径下
去网站下载Hadoop在Windows下的支持winutils
https://github.com/steveloughran/winutils
根据版本来选择,这里用的是 hadoop2.7
,所以选择2.7
的bin
下载下来,将其覆盖到 C:\Hadoop\bin
修改C:\Hadoop\etc\hadoop下的hadoop-env.cmd为set JAVA_HOME=C:\Java\jdk1.8.0_11
在 cmd
中输入 hadoop
出现如下信息就算安装成功了
安装路径为 C:\Python35
在C盘或者代码盘新建\tmp\hive路径,输入命令
winutils.exe chmod -R 777 C:\tmp\hive
cmd输入pyspark得到如下画面
在如下路径添加环境变量
Run->Edit Configurations->Environment variables