前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >使用Python写spark 示例

使用Python写spark 示例

作者头像
py3study
发布2020-01-10 11:27:49
1.3K0
发布2020-01-10 11:27:49
举报
文章被收录于专栏:python3

个人GitHub地址: https://github.com/LinMingQiang

为什么要使用Python来写Spark

Python写spark我认为唯一的理由就是:你要做数据挖掘,AI相关的工作。因为很多做数挖的他们的基础语言都是python,他们如果重新学scala比较耗时,而且,python他的强大类库是他的优势,很多算法库只有python有。

Win本地编写代码调试

编辑器:PyCharm Spark:1.6 Python:2.7

Win环境准备

  1. Python的安装 解压python包,在环境变量里面配上bin的路径
  2. Spark的安装 下载spark的bin文件,解压即可,在环境变量配置SPARK_HOME 要可以通过编辑器来安装,如pycharm,查找pyspark库安装即可
  3. Hadoop安装 安装hadoop环境 。在win下面需要winutils.exe;在环境里面配置HADOOP_HOME 即可

代码示例

代码语言:javascript
复制
# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark import *
import os
print(os.environ['SPARK_HOME'])
print(os.environ['HADOOP_HOME'])
if __name__ == '__main__':
    sc = SparkContext("local[8]")
    rdd = sc.parallelize("hello Pyspark world".split(" "))
    counts = rdd \
        .flatMap(lambda line: line) \
        .map(lambda word: (word, 1)) \
        .reduceByKey(lambda a, b: a + b) \
        .foreach(print)
    sc.stop

问题1: from pyspark import * 找不到pyspark。那你需要把spark的bin包下面的python的所有都拷贝到(可能需要解压py4j) %PYTHON%\Lib\site-packages下面去。这样,你的编辑器才能找到。 或者: 配置你的编辑器的环境变量: PYTHONPATH=F:\home\spark-1.6.0-bin-hadoop2.6\python;F:\python2.7\Lib\site-packages

使用spark-submit提交时用到其他类库 –py-files xxxx/xxxx.zip,xxxx.py

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019/08/17 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 为什么要使用Python来写Spark
    • Win本地编写代码调试
      • Win环境准备
        • 代码示例
        领券
        问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档