前往小程序，Get更优阅读体验！
立即前往
文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
首页
学习
活动
专区
工具
TVP最新优惠活动
返回腾讯云官网
社区首页 >专栏 >Spark编程基础(Python版)

Spark编程基础(Python版)

原创
作者头像
指剑
发布于 2022-07-14 16:09:08
1.6K1
发布于 2022-07-14 16:09:08
举报
文章被收录于专栏：指剑的分享指剑的分享

一、写在最前

二、掌握spark的安装与环境配置

三、掌握Ubuntu下的Python的版本管理与第三方的安装

四、掌握windows下Pycharm与Ubuntu的同步连接

五、掌握Spark读取文件系统的数据

参考网站:

https://spark.apache.org/docs/1.1.1/quick-start.html

一、写在最前:实验环境

代码语言：shell
复制
操作系统：Ubuntu16.04；
Spark版本：2.4.6；
Hadoop版本：2.7.2。
Python版本：3.5.。

点击下载:spark-2.4.6-bin-without-hadoop.tgz

在这里插入图片描述
在这里插入图片描述

二、掌握spark的安装与环境配置

1、解压缩spark压缩包,并移动
代码语言：text
复制
ubuntu@adserver:~$ tar zxf spark-2.4.6-bin-without-hadoop.tgz 
ubuntu@adserver:~$ ls -lh
total 536M
-rw-rw-r--  1 ubuntu ubuntu 203M Mar 28 09:59 hadoop-2.7.2.tar.gz
-rw-rw-r--  1 ubuntu ubuntu 173M Mar 28 09:11 jdk-8u77-linux-x64.tar.gz
-rw-rw-r--  1 ubuntu ubuntu  458 Mar 28 13:31 jps
drwxr-xr-x 13 ubuntu ubuntu 4.0K May 30  2020 spark-2.4.6-bin-without-hadoop
-rw-rw-r--  1 ubuntu ubuntu 161M Mar 26 19:34 spark-2.4.6-bin-without-hadoop.tgz
ubuntu@adserver:~$ sudo mv spark-2.4.6-bin-without-hadoop /usr/local/
ubuntu@adserver:~$ cd /usr/local/
ubuntu@adserver:/usr/local$ sudo mv spark-2.4.6-bin-without-hadoop/ spark
ubuntu@adserver:/usr/local$ ls -lh spark/
在这里插入图片描述
在这里插入图片描述
2、修改Spark环境变量文件
代码语言：text
复制
ubuntu@adserver:~$ cd /usr/local/spark/conf/
ubuntu@adserver:/usr/local/spark/conf$ pwd
/usr/local/spark/conf
ubuntu@adserver:/usr/local/spark/conf$ cp spark-env.sh.template spark-env.sh
ubuntu@adserver:/usr/local/spark/conf$ vi spark-env.sh

编辑spark-env.sh文件(vim ./conf/spark-env.sh)，在第一行添加以下配置信息:

代码语言：text
复制
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop-2.7.2/bin/hadoop classpath)
在这里插入图片描述
在这里插入图片描述

有了上面的配置信息以后，Spark就可以把数据存储到Hadoop分布式文件系统HDFS中，也可以从HDFS中读取数据。如果没有配置上面信息，Spark就只能读写本地数据，无法读写HDFS数据。 配置完成后就可以直接使用，不需要像Hadoop运行启动命令。 通过运行Spark自带的示例，验证Spark是否安装成功。

执行时会输出非常多的运行信息，输出结果不容易找到，可以通过 grep 命令进行过滤（命令中的 2>&1 可以将所有的信息都输出到 stdout 中，否则由于输出日志的性质，还是会输出到屏幕中）:

代码语言：text
复制
ubuntu@adserver:/usr/local/spark$ ./bin/run-example SparkPi 2>&1 | grep "Pi is"
在这里插入图片描述
在这里插入图片描述

修改/usr/local/spark/bin/pyspark 文件内容

修改45行 python 为 python3

在这里插入图片描述
在这里插入图片描述

执行命令sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

代码语言：text
复制
ubuntu@adserver:/usr/local/spark/bin$ sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150
在这里插入图片描述
在这里插入图片描述

三、掌握Ubuntu下的Python的版本管理与第三方的安装

代码语言：text
复制
whereis python3  #  确定Python3目录
cd  /usr/lib/python3.5   # 切换目录 
sudo apt-get install python3-pip   #  安装 pip 软件
sudo pip3 install -i https://pypi.doubanio.com/simple matplotlib  #  安装 matplotlib
代码语言：text
复制
ubuntu@adserver:~$ whereis python3
python3: /usr/bin/python3 /usr/bin/python3.5 /usr/bin/python3.5m /usr/lib/python3 /usr/lib/python3.5 /etc/python3 /etc/python3.5 /usr/local/lib/python3.5 /usr/share/python3 /usr/share/man/man1/python3.1.gz
ubuntu@adserver:~$ cd /usr/lib/python3.5/
ubuntu@adserver:/usr/lib/python3.5$ sudo apt-get install python3-pip
ubuntu@adserver:/usr/lib/python3.5$ sudo pip3 install -i https://pypi.doubanio.com/simple matplotlib
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

四、掌握windows下Pycharm与Ubuntu的同步连接

1) 打开 Pycharm ，打开 File --> settings -->

点击 + 号 ， 然后 选择 SSH Interpreter 进行 Server 设置 ； 输入 虚拟机Ubuntu的IP地址以及用户名与密码

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

五、掌握Spark读取文件系统的数据

1）在pyspark中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；

首先创建测试文件

代码语言：text
复制
$ vi /home/hadoop/test.txt
this is line 1
this is line 2
this is line 3
this is line 4
在这里插入图片描述
在这里插入图片描述
代码语言：text
复制
ubuntu@adserver:/usr/local/spark/bin$ pwd
/usr/local/spark/bin
ubuntu@adserver:/usr/local/spark/bin$ ./pyspark 
Python 3.5.2 (default, Jan 26 2021, 13:30:48) 
[GCC 5.4.0 20160609] on linux
Type "help", "copyright", "credits" or "license" for more information.
22/03/28 15:57:23 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /__ / .__/\_,_/_/ /_/\_\   version 2.4.6
      /_/

Using Python version 3.5.2 (default, Jan 26 2021 13:30:48)
SparkSession available as 'spark'.
>>> lines = sc.textFile("file:/home/hadoop/test.txt")
>>> lines.count()
4
>>>
在这里插入图片描述
在这里插入图片描述
2）在pyspark中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；
代码语言：text
复制
ubuntu@adserver:~$ cd /home/hadoop/
ubuntu@adserver:/home/hadoop$ hadoop fs -ls /
Found 1 items
drwxrwx---   - ubuntu supergroup          0 2022-03-28 17:15 /tmp
ubuntu@adserver:/home/hadoop$ hadoop fs -mkdir -p /user/hadoop
ubuntu@adserver:/home/hadoop$ hadoop fs -put test.txt /user/hadoop/
ubuntu@adserver:/home/hadoop$ hadoop fs -ls /user/hadoop/
Found 1 items
-rw-r--r--   3 ubuntu supergroup         60 2022-03-28 17:17 /user/hadoop/test.txt
ubuntu@adserver:/home/hadoop$ /usr/local/spark/bin/pyspark 
>>> lines = sc.textFile("/user/hadoop/test.txt")     
>>> lines.count()
在这里插入图片描述
在这里插入图片描述
3）编写独立应用程序，读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；
代码语言：python
代码运行次数：0
复制
ubuntu@adserver:/home/hadoop$ sudo vi st-app.py
  
from pyspark import SparkContext

logFile = "/user/hadoop/test.txt"  # Should be some file on your system
sc = SparkContext("local", "Simple App")
logData = sc.textFile(logFile).cache()
print("The HDFS file lines : ",logData.count())
在这里插入图片描述
在这里插入图片描述
代码语言：text
复制
ubuntu@adserver:/home/hadoop$ /usr/local/spark/bin/spark-submit --master local[4] st-app.py 2>&1 | grep "The HDFS"
在这里插入图片描述
在这里插入图片描述

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

spark
hadoop
python

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

spark
hadoop
python
#大数据
#python
#spark
#hadoop
评论
登录后参与评论
0 条评论
热度
最新
登录 后参与评论
推荐阅读
LV.
文章
0
获赞
0
目录
  • 一、写在最前
  • 二、掌握spark的安装与环境配置
  • 三、掌握Ubuntu下的Python的版本管理与第三方的安装
  • 四、掌握windows下Pycharm与Ubuntu的同步连接
  • 五、掌握Spark读取文件系统的数据
    • 参考网站:
    • 一、写在最前:实验环境
    • 二、掌握spark的安装与环境配置
    • 三、掌握Ubuntu下的Python的版本管理与第三方的安装
    • 四、掌握windows下Pycharm与Ubuntu的同步连接
    • 五、掌握Spark读取文件系统的数据
    相关产品与服务
    云 HDFS
    云 HDFS（Cloud HDFS，CHDFS）为您提供标准 HDFS 访问协议，您无需更改现有代码，即可使用高可用、高可靠、多维度安全、分层命名空间的分布式文件系统。 只需几分钟，您就可以在云端创建和挂载 CHDFS，来实现您大数据存储需求。随着业务需求的变化，您可以实时扩展或缩减存储资源，CHDFS 存储空间无上限，满足您海量大数据存储与分析业务需求。此外，通过 CHDFS，您可以实现计算与存储分离，极大发挥计算资源灵活性，同时实现存储数据永久保存，降低您大数据分析资源成本。
    产品介绍产品文档
    领券

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档

    Copyright © 2013 - 2024 Tencent Cloud.

    All Rights Reserved. 腾讯云 版权所有

    登录 后参与评论
    1