python定期爬取GitHub上每日流行项目

作者： 曹真

链接：http://hellogod.cn/2017-06-26/python定期爬取GitHub上每日流行项目/

介绍一个在GitHub上看到的通用的python爬虫，难度不大，是一个蛮好玩的点，顺便总结一下python爬虫的一些需要注意的点。

先上链接：https://github.com/LJ147/github-trending

项目简介

大家可以看一下这个网站https://github.com/trending

随时关注最新的技术动向，永远是一个程序员应该做到的，但我们不能做到每天去查看，于是就诞生了这个repo（更正为原作者写了这个repo），我们将爬虫挂在Linux服务器上，定期爬取并且推送到自己的repo上，只要有时间，就可以看到之前的所有热门项目。

顺便说一句这样是不是还可以刷一波GitHub commit

代码po在了最后面

关于python的私人总结

使用python开发爬虫的时候需要注意哪些？

区分python版本

python 2.x 3.x 差别很大，如果遇到就编译通不过，及早意识到进行修正还好，若是语法差别不大却没有意识到，有时候会给自己惹来很大的麻烦

关注几种易于混淆的数据类型

Tuples

Lists

Dictionary

Json

需要格外关注这几种类型之间的转换，我们知道python是一种弱数据类型语言，但不代表着它的数据类型可以混用，反而，正因为弱化了声明，才让有些操作更加容易出错，这时候我们需要做的，就是仔细阅读文档，熟悉不同的用法。

推荐文档：Tuples, Lists, and Dictionaries

注意合理使用第三方类库

python相对于java等语言，最大的优势就在于其具有很大规模的封装良好的类库，可以让我们使用短短的几行代码，实现很多功能。这里列举几个常用的库和框架：

virtualenv 创建独立 Python 环境的工具。

Beautiful Soup 提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能 简单的说就是解析网页

Scrapy 强大的爬虫框架Scrapy

限于篇幅，放几个链接大家自己进去看

哪些 Python 库让你相见恨晚？

Python 常用的标准库以及第三方库有哪些？

代码

下面是注释版代码，python2.7 用了requests PyQuery等几个类库

代码写的比较明确了，就没有过多注释

学习Python和网络爬虫关注公众号：datanami