专栏首页Python小屋Win10+Python3.6配置Spark创建分布式爬虫

Win10+Python3.6配置Spark创建分布式爬虫

介绍Spark在Win 10系统中的的安装、配置以及在分布式爬虫中的使用,Python版本为3.6.8。

Spark安装、配置和使用请参考《Python程序设计开发宝典》“第12章 多任务与并行处理:线程、进程、协程、分布式、GPU加速”(董付国著,清华大学出版社,2017.10),京东:https://item.jd.com/12143483.html

网络爬虫入门请参考《Python可以这样学》“第9章 网络应用开发”(董付国著,清华大学出版社,2017.2),京东缺货,请选择亚马逊、当当、天猫搜索“董付国”;《Python程序设计基础与应用》“第13章 网络爬虫入门与应用”(董付国著,机械工业出版社,2018.9),京东:https://item.jd.com/12433472.html

================

1、下载安装jdk,地址:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

2、添加环境变量JAVA_HOME,配置为jdk的安装路径。

3、下载Spark,解压缩到G:\spark-2.2.3-bin-hadoop2.7。

地址:http://mirrors.shu.edu.cn/apache/spark/spark-2.2.3/spark-2.2.3-bin-hadoop2.7.tgz,注意版本,并不是越新越好,很容易因为版本不兼容影响运行。

4、配置环境变量HADOOP_HOME和SPARK_HOME为Spark的解压缩目录G:\spark-2.2.3-bin-hadoop2.7。

5、修改环境变量PATH,把Python 3.6的安装目录放到前面,添加jdk安装路径。

6、下载winutils.exe并放到Spark解压缩目录的bin中,下载地址:http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe

7、编写爬虫程序sparkCrawlYuanshi.py并保存到Spark安装目录的bin目录中,以爬取工程院院士信息为例,略去对网页结构的分析,感兴趣的朋友可自行完成这个步骤。

8、进入Power Shell,执行命令./spark-submit.cmd sparkCrawlYuanshi.py运行爬虫程序。

本文分享自微信公众号 - Python小屋(Python_xiaowu),作者:董付国

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-02-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Python+sklearn使用支持向量机算法实现数字图片分类

    关于支持向量机的理论知识,大家可以查阅机器学习之类的书籍或网上资源,本文主要介绍如何使用Python扩展库sklearn中的支持向量机实现数字图片分类。 1、首...

    Python小屋屋主
  • 微课系列(三):Python列表中存储的是元素的引用

    技术要点:在Python中,变量不直接存储值,而是存储值的引用。同样,在列表、元组、字典、集合等容器类对象中也是存储的元素值的引用。

    Python小屋屋主
  • Python+pandas+matplotlib控制不同曲线的属性

    封面图片:《Python程序设计实验指导书》(ISBN:9787302525790),董付国,清华大学出版社

    Python小屋屋主
  • 基于thrift的微服务框架

    前一阵开源过一个基于spring-boot的rest微服务框架,今天再来一篇基于thrift的微服务加框,thrift是啥就不多了,大家自行百度或参考我之前介绍...

    菩提树下的杨过
  • 基于thrift的微服务框架

    前一阵开源过一个基于spring-boot的rest微服务框架,今天再来一篇基于thrift的微服务加框,thrift是啥就不多了,大家自行百度或参考我之前介绍...

    菩提树下的杨过
  • 第5次文章:关于IO流的基本操作

    春节假期就要结束啦,很多小伙伴儿明天就开始上班了,祝各位小伙伴儿新的一年工作顺心,万事顺利哟!

    鹏-程-万-里
  • MySQL - 扩展性 1 概述:人多未必力量大

    我们应该接触过或者听说过数据库的性能瓶颈问题。对于一个单机应用而言,提升数据库性能的最快路径就是氪金 - 买更高性能的数据库服务器,只要钱到位,性能不是问题。

    北国风光
  • 4.FFMPEG-AVFrame

    在ffmpeg中,解码前的数据结构体为AVPacket(参考:3.AVPacket使用),而解码后的数据为AVFrame(视频的YUV, RGB, 音频的PCM...

    张诺谦
  • 在tensorflow 2.2中使用yolov3进行实时对象检测

    http://mpvideo.qpic.cn/0bf2baaamaaadiabyuwlbrpfacgdayeaabqa.f10002.mp4?dis_k=0f9...

    代码医生工作室
  • C/C++程序员 面试经历总结

        现在把一些问题总结一下,算是记录一下面试的经历吧。以后有空简单地回答一下,

    ccf19881030

扫码关注云+社区

领取腾讯云代金券