前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python:黑板课爬虫闯关第一关

Python:黑板课爬虫闯关第一关

作者头像
丹枫无迹
发布2019-09-11 19:34:32
6910
发布2019-09-11 19:34:32
举报
文章被收录于专栏:学无止境学无止境

近日发现了【黑板课爬虫闯关】这个神奇的网页,练手爬虫非常的合适

地址:http://www.heibanke.com/lesson/crawler_ex00/

第一关非常的简单

get 请求网址,在响应的 html 中用正则获取需要在网址后面输入的数字,生成新的 url,继续请求,直到通关。

代码如下:

代码语言:javascript
复制
import re
import requests
import time


def main():
    url = 'http://www.heibanke.com/lesson/crawler_ex00/'
    get_next(url)


def get_next(url):
    print(url)
    html = requests.get(url).text
    m = re.search('(你需要在网址后输入数字|下一个你需要输入的数字是)(\d+)', html)
    if m:
        num = m.group(2)
        next_url = 'http://www.heibanke.com/lesson/crawler_ex00/' + num
        time.sleep(1)
        get_next(next_url)
    else:
        m = re.search('(?<=\<h3\>).*?(?=\</h3\>)', html)
        print(m.group())
        m = re.search('(\<).*?href="([^"]*?)".*?(\>下一关\</a\>)', html)
        print(f'下一关 http://www.heibanke.com{m.group(2)}')


if __name__ == '__main__':
    main()
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018-09-15 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档