Python定期爬取GitHub上每日流行项目

作者:曹真 链接: http://hellogod.cn/2017-06-26/python%E5%AE%9A%E6%9C%9F%E7%88%AC%E5%8F%96GitHub%E4%B8%8A%E6%AF%8F%E6%97%A5%E6%B5%81%E8%A1%8C%E9%A1%B9%E7%9B%AE/

介绍一个在GitHub上看到的通用的python爬虫,难度不大,是一个蛮好玩的点,顺便总结一下python爬虫的一些需要注意的点。

先上链接:https://github.com/LJ147/github-trending

项目简介

大家可以看一下这个网站 https://github.com/trending

随时关注最新的技术动向,永远是一个程序员应该做到的,但我们不能做到每天去查看,于是就诞生了这个repo(更正为原作者写了这个repo),我们将爬虫挂在Linux服务器上,定期爬取并且推送到自己的repo上,只要有时间,就可以看到之前的所有热门项目。

顺便说一句这样是不是还可以刷一波GitHub commit

代码po在了最后面。

关于python的私人总结

使用python开发爬虫的时候需要注意哪些?

  • 区分python版本

python 2.x 3.x 差别很大,如果遇到就编译通不过,及早意识到进行修正还好,若是语法差别不大却没有意识到,有时候会给自己惹来很大的麻烦

  • 关注几种易于混淆的数据类型
    • Tuples
    • Lists
    • Dictionary
    • Json

需要格外关注这几种类型之间的转换,我们知道python是一种弱数据类型语言,但不代表着它的数据类型可以混用,反而,正因为弱化了声明,才让有些操作更加容易出错,这时候我们需要做的,就是仔细阅读文档,熟悉不同的用法。

推荐文档:http://sthurlow.com/python/lesson06/

注意合理使用第三方类库

python相对于java等语言,最大的优势就在于其具有很大规模的封装良好的类库,可以让我们使用短短的几行代码,实现很多功能。这里列举几个常用的库和框架:

  • virtualenv: 创建独立 Python 环境的工具。
  • Beautiful Soup: 提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能 简单的说就是解析网页。
  • Scrapy: 强大的爬虫框架Scrapy

限于篇幅,放几个链接大家自己进去看

哪些 Python 库让你相见恨晚? Python 常用的标准库以及第三方库有哪些?

代码

下面是注释版代码,python2.7 用了requests PyQuery等几个类库 代码写的比较明确了,就没有过多注释。

 #!/usr/local/bin/python2.7
  # coding:utf-8
import datetime
import codecs
import requests
import os
import time
from pyquery import PyQuery as pq
    #git操作 推送到远程repo
def git_add_commit_push(date, filename):
    cmd_git_add = 'git add .'
    cmd_git_commit = 'git commit -m "{date}"'.format(date=date)
    cmd_git_push = 'git push -u origin master'
    os.system(cmd_git_add)
    os.system(cmd_git_commit)
    os.system(cmd_git_push)
def createMarkdown(date, filename):
    with open(filename, 'w') as f:
        f.write("###" + date + "\n")
def scrape(language, filename):
    HEADERS = {
        'User-Agent'        : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.7; rv:11.0) Gecko/20100101 Firefox/11.0',
        'Accept'            : 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Encoding'    : 'gzip,deflate,sdch',
        'Accept-Language'    : 'zh-CN,zh;q=0.8'
    }
    url = 'https://github.com/trending/{language}'.format(language=language)
    r = requests.get(url, headers=HEADERS)
    assert r.status_code == 200
    # print(r.encoding)
    d = pq(r.content)
    items = d('ol.repo-list li')
    # codecs to solve the problem utf-8 codec like chinese
    with codecs.open(filename, "a", "utf-8") as f:
        f.write('\n##{language}\n'.format(language=language))
        for item in items:
            i = pq(item)
            title = i("h3 a").text()
            owner = i("span.prefix").text()
            description = i("p.col-9").text()
            url = i("h3 a").attr("href")
            url = "https://github.com" + url
            # ownerImg = i("p.repo-list-meta a img").attr("src")
            # print(ownerImg)
            f.write(u"* [{title}]({url}):{description}\n".format(title=title, url=url, description=description))
    #定时爬取对应语言的并写入到markdown文本中
def job():
    strdate = datetime.datetime.now().strftime('%Y-%m-%d')
    filename = '{date}.md'.format(date=strdate)
    # create markdown file
    createMarkdown(strdate, filename)
    # write markdown
    scrape('python', filename)
    scrape('swift', filename)
    scrape('javascript', filename)
    scrape('go', filename)
    scrape('Objective-C', filename)
    scrape('Java', filename)
    scrape('C++', filename)
    scrape('C#', filename)
    # git add commit push
    git_add_commit_push(strdate, filename)
    #主函数
if __name__ == '__main__':
    while True:
        job()
        time.sleep(12 * 60 * 60)

原文发布于微信公众号 - Python数据科学(Python_Spiderman)

原文发表时间:2018-03-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏FreeBuf

逆向工厂(一):从hello world开始

* 本文原创作者:追影人,本文属FreeBuf原创奖励计划,未经许可禁止转载 前言 从本篇起,逆向工厂带大家从程序起源讲起,领略计算机程序逆向技术,了解程序的运...

51880
来自专栏程序人生 阅读快乐

深入理解Linux内核.pdf

为了彻底理解是什么使得Linux能正常运行以及其为何能在各种不同的系统中运行良好,你需要深入研究内核最本质的部分。内核处理CPU与外界间的所有交互,并且决定哪些...

36810
来自专栏小樱的经验随笔

BugkuCTF web基础$_GET

前言 写了这么久的web题,算是把它基础部分都刷完了一遍,以下的几天将持续更新BugkuCTF WEB部分的题解,为了不影响阅读,所以每道题的题解都以单独一篇文...

335100
来自专栏芋道源码1024

Dubbo 源码解析 —— Cluster

前言 今天是小长假的倒数第二天,本来国庆是要加班四天的,后来因为要有事要回家才得以幸免,但是后天上班之后都要搬砖搬到手脱皮是必须的了.但是再忙每周一篇源码解析...

38550
来自专栏FreeBuf

一个脑洞“颇大”的恶搞链接

事件起因 这其实是一件很偶然的事情,前几天在某大佬群里看大佬装逼。突然一个平日不怎么冒泡的群友发了一条链接。本着“这群里都是好人 ”的想法我就天真的点了进去.....

43590
来自专栏数据小魔方

扒一扒rvest的前世今生!

rvest包可能是R语言中数据抓取使用频率最高的包了,它的知名度和曝光度在知乎的数据分析相关帖子和回答中都很高。 甚至很多爬虫教程和数据分析课程在讲解R语言网络...

40470
来自专栏贾老师の博客

分布式系统的接口幂等性设计

33530
来自专栏owent

libcopp v2的第一波优化完成

之前测出来libcopp还有一些列优化点,但是要破坏之前的API,所以整理了一下优化的想法和方案。

31220
来自专栏LET

CPU Cache简介

真空中光速为299,792,458米/秒,目前,Intel的i7频率可以达到4GHz,简单换算一下,可以得出结论:光(电流)在一个Cycle内移动的距离约为0....

24920
来自专栏双十二技术哥

组件化实践详解(一)

具体实施一项技术项目之前我们会首先确定对应的目标,之后的行动计划都会朝着目标一步步靠拢。

9020

扫码关注云+社区

领取腾讯云代金券