专栏首页微服务架构日记如何优雅的进行错误重试

如何优雅的进行错误重试

如何优雅的进行错误重试

最近在爬取豆瓣电影所有演员和导演信息的过程中,遇到了一个小问题,目前豆瓣网页端的反爬还是很强的,只有使用代理IP来进行爬取,那么关键的问题来了,即使使用代理IP,也不能100%保证每次请求的不出错误的,那么如何优雅的进行错误重试呢?

Python异常判断

Python3版本为我们提供了简单明了的控制语句,即try...except...else,别小看else的加入,我们可以使用它来干很多事。else中的代码只有在没有任何异常发生的情况下才会执行,下一小节我们来看一下,真实业务场景中的使用。

try:
    # 逻辑语句
    ...
except:
    # 捕获异常
    ...
else:
    # 未发生异常才执行
    ...
finally:
    ...
    # 后续逻辑

实际应用

由于代理IP不能100%保证使用,我们需要引入一个重试机制,从而保证全量数据可以被爬取下来。这里使用whilecontinuebreak关键字巧妙的实现了一个错误重试功能。

import requests


def spider():
    headers = {
        "Host": "movie.douban.com",
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36"
    }
    url = 'https://movie.douban.com/subject/34962956/'
    proxies = {
        'http': 'http://115.211.132.12:8888',
        'https': 'http://115.211.132.12:8888'
    }
    count = 5
    while count > 0:
        try:
            # 注意这里的proxies在每次异常的使用需要重新获取一个
            # 我这里进行了简化
            rep = requests.get(url, headers=headers, proxies=proxies)
        except:
            # 每次异常减1
            count -= 1
            continue
        else:
            # 获取到内容,退出循环
            content = rep.text
            break
    # 继续处理爬取到的内容
    try:
        # 如果重试五次,仍然没有获取到
        handle(content)
    except:
        # 进行异常值记录
        ...

总结

当然大规模爬虫使用Scrapy等开源流行框架是明智的选择,它几乎帮你解决了你所能想到的所有问题,我们只需要简单的配置一下就好了。

  • 大家有问题可以留言讨论

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何优雅的调试段错误

    摘要:当程序运行出现段错误时,目标文件没有调试符号,也没配置产生 core dump,如何定位到出错的文件和函数,并尽可能提供更详细的一些信息,如参数,代码等...

    F-Stack
  • 【最佳实践】如何优雅的进行重试

    最近公司在搞活动,需要依赖一个第三方接口,测试阶段并没有什么异常状况,但上线后发现依赖的接口有时候会因为内部错误而返回系统异常,虽然概率不大,但总因为这个而报警...

    弗兰克的猫
  • 【最佳实践】如何优雅的进行重试

    最近公司在搞活动,需要依赖一个第三方接口,测试阶段并没有什么异常状况,但上线后发现依赖的接口有时候会因为内部错误而返回系统异常,虽然概率不大,但总因为这个而报警...

    猿天地
  • 如何优雅的进行Google Hacking

    说到搜索引擎,相信任何人都不会陌生,它包含着我们生活中方方面面的知识,存储着数亿计的信息,每当有人来问我东西的时候我只想说:

    C4rpeDime
  • 如何优雅做系统错误提示?

    不知道你有没有过这样的感受,当你使用软件遇到异常的时候,有时候软件给出的错误提示让人摸不着头脑。唯一的办法就是复制到搜索引擎搜一下,看看有没有哪个不幸的人与我遇...

    Zachary_ZF
  • 如何优雅地查看 JS 错误堆栈?

    在前端,我们经常会通过 window.onerror 事件来捕获未处理的异常。假设捕获了一个异常,上报的堆栈是这个:

    小芭乐
  • 如何优雅地查看 JS 错误堆栈?

    在前端,我们经常会通过 window.onerror 事件来捕获未处理的异常。假设捕获了一个异常,上报的堆栈是这个:

    Fundebug
  • 如何优雅的进行接口管理

    在这前后端分离大行其道的今天,如何优雅的管理接口,对应提高工作效率非常重要。而接口又是由后端提供的,这个任务自然而然的又落在后台开发人员的身上。在这里提供三种常...

    java乐园
  • 如何优雅的对Webview进行截屏?

    通过调用webview.capturePicture(),得到一个picture对象,根据图像的宽和高创建一个Bitmap,再创建一个canvas,绑定bitm...

    吴延宝

扫码关注云+社区

领取腾讯云代金券