Python实现抓取城市的PM2.5浓度和排名

本文给大家介绍的是一则使用Python实现抓取城市的PM2.5数据和排名,

主机环境:(Python2.7.9 / Win8_64 / bs4)

利用BeautifulSoup4来抓取 www.pm25.com 上的PM2.5数据,之所以抓取这个网站,是因为上面有城市PM2.5浓度排名(其实真正的原因是,它是百度搜PM2.5出来的第一个网站!)

程序里只对比了两个城市,所以多线程的速度提升并不是很明显,大家可以弄10个城市并开10个线程试试。

最后吐槽一下:上海的空气质量怎么这么差!!!

PM25.py代码如下:

#!/usr/bin/env python # -*- coding: utf-8 -*- # by ustcwq import urllib2 import threading from time import ctime from bs4 import BeautifulSoup def getPM25(cityname): site = 'http://www.pm25.com/' + cityname + '.html' html = urllib2.urlopen(site) soup = BeautifulSoup(html) city = soup.find(class_ = 'bi_loaction_city') # 城市名称 aqi = soup.find("a",{"class","bi_aqiarea_num"}) # AQI指数 quality = soup.select(".bi_aqiarea_right span") # 空气质量等级 result = soup.find("div",class_ ='bi_aqiarea_bottom') # 空气质量描述 print city.text + u'AQI指数:' + aqi.text + u'\n空气质量:' + quality[0].text + result.text print '*'*20 + ctime() + '*'*20 def one_thread(): # 单线程 print 'One_thread Start: ' + ctime() + '\n' getPM25('hefei') getPM25('shanghai') def two_thread(): # 多线程 print 'Two_thread Start: ' + ctime() + '\n' threads = [] t1 = threading.Thread(target=getPM25,args=('hefei',)) threads.append(t1) t2 = threading.Thread(target=getPM25,args=('shanghai',)) threads.append(t2) for t in threads: # t.setDaemon(True) t.start() if __name__ == '__main__': one_thread() print '\n' * 2 two_thread()

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-12-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏后台 开发

后台系统搭建经验思考

去年部门开始转向云业务,有幸参与一个较大的项目,从0到1开始一个后台系统的建设,从开始规划到进行项目交付,总结梳理一下在这个期间我们的思路是怎样的?

1997
来自专栏我就是马云飞

该如何接手别人遗留下的代码?

在我们开始之前,你应该先了解一些事项。首先,请阅读这篇 Joel Spolsky 的著名文章,了解为什么永远不应该重写代码(https://www.joelon...

803
来自专栏大数据文摘

Uber:用司机手机做数据中心备份

2476
来自专栏SDNLAB

网络虚拟化叠加的八个用例

大多数IT组织都面临着需要更强的敏捷性以响应不断变化的业务需求的压力。但是问题是,今天的大多数网络都不灵活。为了避免这一问题,IT组织现在正在采用网络虚拟化(N...

612
来自专栏java一日一条

软件开发中最顶级的 17 个平台和工具

当你在决定使用哪些软件或平台来完成日常工作时,会存在很多选择。所以,我决定写一个我们在开发部门常用的软件开发工具列表,希望能对其他所有人都有所帮助。

1033
来自专栏Flutter&Dart

DartVM服务器开发(第二十六天)--关于服务器开发

DartVM服务器我在开发的过程中,也是有很多坑的,但是,我们也会从中学习到Dart相关的一些东西,并不断的加深对Dart语言的印象,从我自己的体验中,可以发现...

872
来自专栏程序员的SOD蜜

那些满脑子只考虑后台数据库的人他整天研究的就是针对自己查询一些数据的sql语句

如果从那些满脑子只考虑后台数据库的人的思路出发,就很难接受这种方式,因为他整天研究的就不是围绕着用户的千变万化的交互操作需求爱好的变化的而是针对自己查询一些数据...

2816
来自专栏斑斓

对微服务的简单思考

今天阅读了文章《微服务架构在Netflix的应用:架构设计的经验教训》,引发了我对微服务的一些感想。大约这些感想平日都在大脑里装着没有声响,这篇文章算是酵母,投...

2103
来自专栏小白课代表

草图大师(SketchUp Pro)2017安装教程

1273
来自专栏云加头条

简单的 H5 视频推流解决方案

作者:周超 导语 随着直播平台爆发式增长,直播平台从 PC 端转战移动端,紧跟着直播的潮流,自己学习实现了一套简单的 H5 视频推流的解决方案,下面就给小伙伴...

2.8K8

扫码关注云+社区