Python实现抓取城市的PM2.5浓度和排名

本文给大家介绍的是一则使用Python实现抓取城市的PM2.5数据和排名,

主机环境:(Python2.7.9 / Win8_64 / bs4)

利用BeautifulSoup4来抓取 www.pm25.com 上的PM2.5数据,之所以抓取这个网站,是因为上面有城市PM2.5浓度排名(其实真正的原因是,它是百度搜PM2.5出来的第一个网站!)

程序里只对比了两个城市,所以多线程的速度提升并不是很明显,大家可以弄10个城市并开10个线程试试。

最后吐槽一下:上海的空气质量怎么这么差!!!

PM25.py代码如下:

#!/usr/bin/env python # -*- coding: utf-8 -*- # by ustcwq import urllib2 import threading from time import ctime from bs4 import BeautifulSoup def getPM25(cityname): site = 'http://www.pm25.com/' + cityname + '.html' html = urllib2.urlopen(site) soup = BeautifulSoup(html) city = soup.find(class_ = 'bi_loaction_city') # 城市名称 aqi = soup.find("a",{"class","bi_aqiarea_num"}) # AQI指数 quality = soup.select(".bi_aqiarea_right span") # 空气质量等级 result = soup.find("div",class_ ='bi_aqiarea_bottom') # 空气质量描述 print city.text + u'AQI指数:' + aqi.text + u'\n空气质量:' + quality[0].text + result.text print '*'*20 + ctime() + '*'*20 def one_thread(): # 单线程 print 'One_thread Start: ' + ctime() + '\n' getPM25('hefei') getPM25('shanghai') def two_thread(): # 多线程 print 'Two_thread Start: ' + ctime() + '\n' threads = [] t1 = threading.Thread(target=getPM25,args=('hefei',)) threads.append(t1) t2 = threading.Thread(target=getPM25,args=('shanghai',)) threads.append(t2) for t in threads: # t.setDaemon(True) t.start() if __name__ == '__main__': one_thread() print '\n' * 2 two_thread()

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2015-12-20

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SDNLAB

网络虚拟化叠加的八个用例

大多数IT组织都面临着需要更强的敏捷性以响应不断变化的业务需求的压力。但是问题是,今天的大多数网络都不灵活。为了避免这一问题,IT组织现在正在采用网络虚拟化(N...

712
来自专栏程序员的SOD蜜

那些满脑子只考虑后台数据库的人他整天研究的就是针对自己查询一些数据的sql语句

如果从那些满脑子只考虑后台数据库的人的思路出发,就很难接受这种方式,因为他整天研究的就不是围绕着用户的千变万化的交互操作需求爱好的变化的而是针对自己查询一些数据...

2936
来自专栏Flutter&Dart

DartVM服务器开发(第二十六天)--关于服务器开发

DartVM服务器我在开发的过程中,也是有很多坑的,但是,我们也会从中学习到Dart相关的一些东西,并不断的加深对Dart语言的印象,从我自己的体验中,可以发现...

1112
来自专栏斑斓

对微服务的简单思考

今天阅读了文章《微服务架构在Netflix的应用:架构设计的经验教训》,引发了我对微服务的一些感想。大约这些感想平日都在大脑里装着没有声响,这篇文章算是酵母,投...

2173
来自专栏小白课代表

草图大师(SketchUp Pro)2016安装教程

1724
来自专栏SDNLAB

【8点20】深入了解Facebook 的Altoona数据中心网络

Facebook最近秀了一下Altoona数据中心网络的高度模块化和可扩展性。这个社交网络巨头高调公布了数据中心网络解决方案,因为Facebook想围绕开放计算...

3285
来自专栏娱乐心理测试

关于iOS实现前台,后台,锁屏或关闭app语音播报

6814
来自专栏后台 开发

后台系统搭建经验思考

去年部门开始转向云业务,有幸参与一个较大的项目,从0到1开始一个后台系统的建设,从开始规划到进行项目交付,总结梳理一下在这个期间我们的思路是怎样的?

2057
来自专栏小白课代表

草图大师(SketchUp Pro)2017安装教程

1663
来自专栏腾讯数据库技术

腾讯新一代企业级云数据库CynosDB(NewCDB)

NewCDB是在CDB十年技术和产品沉淀的基础上诞生的,腾讯云数据库产品在继承中不断完成突破。

7.6K6

扫码关注云+社区