上海历史天气和空气质量数据获取

前言

之前公众号内有一篇文章《近7年上海天气数据抓取和分析（含代码）--爬虫部分》是通过R语言完成的爬虫，经常有朋友问有没有关于这篇文章的Python脚本，那今天就跟大家分享一下基于Python的上海天气数据获取（含空气质量数据）。

本次分享的数据来源是“2345天气预报网”（http://tianqi.2345.com/wea_history/58362.htm），尤其在2016年以后数据中新增了有关空气质量的指标，具体可见下图：

首先看看数据是否直接嵌在html网页中，最有效的方法是在原网页中选择不同的年份和月份，看看链接是否发生变动。经测试，网页链接无变化，那就说明天气数据一定异步存储在别的文件中，接下来就要找到这个存储数据的文件了。

按照爬虫的一般套路，首先在原网页中按入F12快捷键，选择Network，然后再从原网页中选择不同的年份或月份，你就会从XHR或JS中找到那个文件。很显然，这里的天气数据是存储在JS文件中的：

接下来就是确定这个文件的链接地址，如下图所示，这个链接还是非常简洁的，你可以选择不同的年份或月份，发现这些链接的规律，然后一次性生成这些具有规律的链接。

不妨以urls中的第一个链接为例，看看能够从中抓到什么内容：

很棒，所有跟天气相关的数据，都可以获取到，接下来通过正则表达式将每个关心的字段都存储到列表中：

最终，可以使用for循环完成所有链接数据的获取，得到如下形式的一张表格：

结语

OK，今天的内容就介绍到这边，如果需要数据或代码，可以关注“数据分析1480”并回复“上海天气”即可。期待各位的交流~