python爬虫常见状态码之504错误

原创

小白学大数据

发布于 2023-05-23 16:17:54

3170

发布于 2023-05-23 16:17:54

python爬虫请求网站然后抓取数据返回的过程之中，实际上是通过http超文本传输协议将自己的请求信息发送到了网站上等待响应，而网站响应之后就会返回状态码以及相关的数据回去。我们需要快速地对http请求返回的各种异常状态码来判断处理，以便于我们及时调整爬虫策略，优化思路，及时完成爬虫任务。

今天我们就来重点了解下http状态码返回504含义和解决方法，504 Proxy Gateway Timeout一般有2种情况，

1.代理正在切换IP，休息一段时间再试即可;

2.目标网站不可达，也就是目标网站封了代理IP，需要做爬虫优化。如果出现少量504属于正常情况。如大量出现，建议在不使用代理的情况下检查目标网站是否可以访问。可能由目标网站的防护措施导致，建议请求时加上正确的cookie、referer、user-agent等。

在网站封IP的情况下返回504最好的解决办法就是添加代理IP，代理的选择需要看目标网站对IP的要求严不严，像一些大型新闻，电商，社交网站对IP的风控都很严，就需要通过使用优质代理IP才能帮助爬虫程序完成任务。经过对代理在速度，延迟，稳定性，IP池的大小，售后服务等各方面的数据考核，这里推荐有需要代理的小伙伴可以试试亿牛云代理，一家宝藏代理商，特别推荐爬虫隧道转发代理，使用更简单，对新手很友好，对一些想要节省爬取时间的项目来说更有利，使用方式这里示例下：

        #! -*- encoding:utf-8 -*-
        import base64            
        import sys
        import random

        PY3 = sys.version_info[0] >= 3

        def base64ify(bytes_or_str):
            if PY3 and isinstance(bytes_or_str, str):
                input_bytes = bytes_or_str.encode('utf8')
            else:
                input_bytes = bytes_or_str

            output_bytes = base64.urlsafe_b64encode(input_bytes)
            if PY3:
                return output_bytes.decode('ascii')
            else:
                return output_bytes

        class ProxyMiddleware(object):                
            def process_request(self, request, spider):
                # 代理服务器(产品官网 www.16yun.cn)
                proxyHost = "t.16yun.cn"
                proxyPort = "31111"

                # 代理验证信息
                proxyUser = "username"
                proxyPass = "password"

                # [版本>=2.6.2](https://docs.scrapy.org/en/latest/news.html?highlight=2.6.2#scrapy-2-6-2-2022-07-25)无需添加验证头,会自动在请求头中设置Proxy-Authorization     
                request.meta['proxy'] = "http://{0}:{1}@{2}:{3}".format(proxyUser,proxyPass，proxyHost，proxyPort)

                # 版本<2.6.2 需要手动添加代理验证头
                # request.meta['proxy'] = "http://{0}:{1}".format(proxyHost,proxyPort)
                # request.headers['Proxy-Authorization'] = 'Basic ' +  base64ify(proxyUser + ":" + proxyPass)                    

                # 设置IP切换头(根据需求)
                # tunnel = random.randint(1,10000)
                # request.headers['Proxy-Tunnel'] = str(tunnel)

                # 每次访问后关闭TCP链接，强制每次访问切换IP
                request.header['Connection'] = "Close"

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

python