Python裸奔也疯狂:批量爬取中国工程院院士信息

中国工程院院士,是中国设立的工程科学技术方面的最高学术称号,为终身荣誉,由选举产生。在工程科学技术方面作出重大的、创造性的成就和贡献,热爱祖国,学风正派,品行端正,具有中国国籍的高级工程师、研究员、教授或具有同等职称的专家,可被提名并当选为中国工程院院士。

增选院士每两年进行一次,必要时,可提前或延后进行。每次的增选院士名额,由中国工程院主席团讨论决定。

为更好地膜拜众位男神女神,了解其在相关领域做出的杰出贡献,本文代码用于从中国工程院官方网站公开的信息中进行快速提取,主要用来演示Python标准库os、re、urllib的用法以及网络爬虫的原理,没有使用任何扩展库。本文涉及到的内容严禁用于不良用途,违者后果自负。

首先,打开工程院官方网站,查看全部院士名单,查看源代码,进行简单分析,得到规律,以便后面设计正则表达式,图中红框内是我们感兴趣的内容:

接下来打开任意一位院士的链接,进一步分析,得到数据组织的规则,以方便设计正则表达式:

所有规则都清晰之后,就可以编写代码进行爬取了:

原文发布于微信公众号 - Python小屋(Python_xiaowu)

原文发表时间:2017-11-01

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏肖洒的博客

【会声会影】半小时学会基本简单操作

第三次使用会声会影,是帮同学的弟弟拍、剪了一个高考的鼓励视频,很短,也很用心去做。

10220
来自专栏Python中文社区

我是如何使用Python来自动化我的婚礼的

譯 文 ❈ 原作者:Thomas Curtis 译者:ictar Github:https://github.com/ictar ❈ 2016年9月3日,对世...

22180
来自专栏程序员互动联盟

如何学好单片机?

1.首先把常见的基础知识通一遍,第一遍不需要理解的很明白,第二遍或者第三遍的时候开始深耕细作,开始全面的实践学习,这个阶段C语言基础要弄牢固。

12020
来自专栏数据小魔方

sparklines——迷你图插件

这段时间迷上了那种袖珍型的迷你图,在之前的分享中曾经分享过关于迷你图的内容,其中涉及到几款制作迷你图的插件(excel内置的三款迷你图就不说了)——Tinygr...

41470
来自专栏IT派

最新的10个优质Python开源项目

我们比较了在此期间有新的发布或是重大发布的项目。Mybridge AI基于多种因素对项目进行排名,以衡量其在专业人员眼中的质量。

13820
来自专栏程序人生

浪费内存?多大个事?

遥想盖子当年,MS 红火了,谈笑间,640k 内存足矣。 - 程序君 现在已经不是从指缝中扣内存的时代了。bit 在主流的解释型语言中要么失了踪迹,要么被作为...

46180
来自专栏CDA数据分析师

我们准备了10个优质Python开源项目,来帮你学好Python

我们比较了在此期间有新的发布或是重大发布的项目。Mybridge AI基于多种因素对项目进行排名,以衡量其在专业人员眼中的质量。

14430
来自专栏SDNLAB

Big Switch更新SDN控制器选项

编者按:Big Switch的业务正在向更多主流客户延伸,为了更好的抢占SDN市场,更多的与其他设备商提供的设备兼容,Big Switch Networks本周...

29380
来自专栏牛客网

(19实习)51信用卡Java面经

19750
来自专栏鸿的学习笔记

脑洞大开之给地狱设计数据系统(上)

今天阎罗王提了一个需求,那就是他不想再用手写记录死亡记录了,它需要一个数据系统来简化管理。于是手下的小鬼火急火燎的找上了地狱最大的三家数据系统提供商HBA...

9630

扫码关注云+社区

领取腾讯云代金券