专栏首页Python小屋手把手教你使用Python+scrapy爬取山东各城市天气预报

手把手教你使用Python+scrapy爬取山东各城市天气预报

1、在命令提示符环境使用pip install scrapy命令安装Python扩展库scrapy,详见Python使用Scrapy爬虫框架爬取天涯社区小说“大宗师”全文

2、使用下图中的命令创建爬虫项目

3、进入爬虫项目文件夹,执行下面的命令创建爬虫

现在,爬虫项目的文件夹结构如下图所示

4、使用浏览器打开网址http://www.weather.com.cn/shandong/index.shtml,然后下拉,找到“城市预报列表”

5、在页面上单击鼠标右键,选择“查看网页源代码”,然后找到与“城市预报列表”对应的位置

6、选择并打开山东省内任意城市的天气预报页面,此处以烟台为例

7、在页面上单击鼠标右键,选择“查看网页源代码”,找到与上图中天气预报相对应的位置

8、修改items.py文件,定义要爬取的内容,红色方框内是自己写的代码

9、修改爬虫文件everyCityinSD.py,定义如何爬取内容,其中用到的规则参考前面对页面的分析

10、修改pipelines.py文件,把爬取到的数据写入文件weather.txt,红色方框内是自己写的代码

11、修改settings.py文件,分派任务,指定处理数据的程序,红色方框内是自己写的代码

12、切换到命令提示符环境,执行下面的命令运行爬虫程序

稍等几秒钟,生成包含各城市天气预报数据的文件weather.txt

其中内容为

----------喜大普奔----------

1、董付国老师Python系列教材,亚马逊、京东、当当、天猫均有销售:

1)《Python程序设计(第2版)》(2018年5月第6次印刷)

出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.18.24a52226hIi8Bj&id=534581929248&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

2)《Python可以这样学》(2018年2月第5次印刷)(本书已发行繁体版)

出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.16.24a52226hIi8Bj&id=544817105410&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

3)《Python程序设计开发宝典》(2018年2月第3次印刷)

出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.52.24a52226hIi8Bj&id=556093887133&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

4)《中学生可以这样学Python》2018年5月第2次印刷)

出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.20.24a52226hIi8Bj&id=560808221053&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

5)《Python程序设计基础(第2版)》(2018年5月第2次印刷)

出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.24.24a52226hIi8Bj&id=565581275846&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

6)《玩转Python轻松过二级》(2018年5月隆重上架)

出版社官方链接(亚马逊、京东、当当均有销售):https://detail.tmall.com/item.htm?spm=a1z10.3-b-s.w4011-16232114860.84.24a52226hIi8Bj&id=569250004069&rn=9311dcbc68fffcf57b7ae352800e485d&abbucket=6

董付国老师6本Python系列图书阅读指南

董付国老师6本Python系列教材被北大、复旦等近百所高校选作教材

热烈庆祝《Python可以这样学》在中国台湾发行繁体版

2、董老师120课免费视频地址: https://pan.baidu.com/s/1jJeAs8Q 密码: px59

----------相关阅读----------

教学课件

1900页Python系列PPT分享一:基础知识(1

本文分享自微信公众号 - Python小屋(Python_xiaowu),作者:董付国

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 微课|中学生可以这样学Python(8.4节):递归算法例题讲解3

    Python小屋屋主
  • 微课|中学生可以这样学Python(8.2节):枚举算法例题讲解

    Python小屋屋主
  • 微课|中学生可以这样学Python(8.1节):解析算法例题讲解

    Python小屋屋主
  • 怎么才能最短时、高效、踏实地学习 Python(附链接)

    Python是当前全球的主流编程语言之一,基于其简洁的语法结构,可以让开发者用更少的代码完成很多复杂的效果开发。

    数据派THU
  • 在知乎上学 Python - 爬虫篇

    知乎是个好地方。虽然近年来,为了吸引更多的用户,知乎的定位与早期略有点偏离。但从内容质量和专业性来说,知乎仍然是国内数一数二的知识型社区。不少同学都是通过知乎发...

    Crossin先生
  • 私藏已久的7个Python视频教程

    导读:有没有Python视频教程?有,甚至还有机会接触到国际顶尖大学的计算机视频课程。

    华章科技
  • 在知乎上学 Python - Web 开发篇

    1. 最近我们将进行2期学习小组,面向完全零基础的Python入门学习小组已经开始,第一次任务的讨论将于明晚(15号)进行,现在上车还来得及

    Crossin先生
  • 一幅图讲清楚Python在大数据与人工智能时代的地位

    大数据与人工智能时代,掌握Python基础后,我们可以选择数据分析方向、人工智能方向、全栈开发方向... ? 如果想要追赶 Python 的热潮,应该如何学习呢...

    昱良
  • HTTP 实战(三) - HTTP各种特性总览

    8888服务提供的 html,html 文件中又向8887服务发送AJAX请求,这就是跨域了!

    JavaEdge
  • 有了她,谁敢阻止我学习

    公众号 1、Python爱好者社区,微信号:python_shequ 人生苦短,我用Python。分享Python相关的技术文章、工具资源、精选课程、视频教程、...

    小歪

扫码关注云+社区

领取腾讯云代金券