知乎微博热榜爬取

点击上方“算法与数据之美”，选择“置顶公众号”

更多精彩等你来！

热榜是当下互联网上按受关注程度由高到低进行的排行，指热门的排行榜。了解热榜，便可时刻掌握最新潮流动态。

百度有风云榜，搜狗有搜狗指数，微博有热搜，这些榜单都是社会当前关注的热点。今天我们就来实战爬取一下热榜并进行定时更新。

微博热搜

首先，我们对微博热搜进行爬取，直接打开热搜页面，并查看其网页源代码。

我们可以看到每一个热搜以及对应的 href 链接都整齐的放在标签之下，我们可以选择用 BeautifulSoup 库也就是美丽汤，也可以选择使用 XPath 来进行简单的爬取。

需要注意的是给出的链接是不完整的，需要加上前缀 https://s.weibo.co 。

知乎热榜

知乎的热榜看起来似乎要难抓取一些，因为当我利用 requests 访问热榜时，返回的html页面并不是我所看到的页面，这是因为知乎采用了一定的反爬措施，怎么办呢？

Cookie中带有我们登录的信息，在 headers 中加入Cookie应该就能骗过网站，一试果然能行~

定时爬取

说到定时任务，我们可能会想起 Linux 中自带的 crontab ,windows 自带的任务计划，这些都可以实现定时运行程序的任务。

但今天我们给出的方法是利用 apscheduler 这个第三方库。使用这个库的方法也非常简单，下面实现的是每20分钟运行一次 main 函数。

from apscheduler.schedulers.blocking import BlockingScheduler
scheduler=BlockingScheduler()
scheduler.add_job(func=main,trigger='interval',minutes=20)
scheduler.start()

每隔20分钟，就执行一次爬取任务，清空之前的数据库，并将新热榜数据写入数据库。

More

这里只叙述了数据爬取的部分。

GitHub上有个成熟的项目，是用Go语言编写的：今日热榜，一个获取各大热门网站热门头条的聚合网站。

摸鱼必备，传送门左下角。