Spark笔记5-环境搭建和使用

安装环境

• 安装Java和Hadoop2.7.1
• 官网下载
• 配置spark的classpath

如果需要使用HDFS中的文件，则在使用spark前先启动Hadoop

伪分布式

将Hadoop配置成伪分布式，将多个节点放在同一台电脑上。HDFS中包含两个重要的组件：namenode和datanode

• namenode：管家节点，数据库的服务作用，只有一个namenode
• datanode：负责具体的存储数据相关

PySpark

• pyspark提供了简单的方式来学习spark API
• pyspark可以实时、交互的方式来分析数据
• pyspark提供了Python交互式的执行环境

pyspark --master <master-url>

运行模式

1. Spark的运行模式取决于master url值。

• 逻辑CPU个数 = 物理CPU的个数 * CPU的核数
• K指的是本地线程个数
• 集群模式：spark://localhost:7077，进入集群模式而且是本机独立的模式

1. 采用本地模式启动pyspark的命令主要参数
   • –master：表示连接到某个master
   • –jars：用于把相关的jar包添加到classpath中；多个jar包，用逗号分割符进行连接

# demo

# 本地模式运行在4个CPU上
cd /usr/local/spark
./bin/pyspark --master local[4]

# 使用 --jar 参数
cd /usr/local/spark
./bin/pyspark --master local[4] --jars code.jar

# 执行pyspark默认是local模式
./bin/pyspark  # 进入的是local[*]

# 帮助命令
./bin/ pyspark --help

# 进入后的退出命令（>>> 提示符）
>>>exit()