python爬虫遇到IP被封的情况,怎么办?

代理服务的介绍:

我们在做爬虫的过程中经常最初爬虫都正常运行,正常爬取数据,一切看起来都是美好,然而一杯茶的功夫就出现了错误。

如:403 Forbidden错误,“您的IP访问频率太高”错误,或者跳出一个验证码让我们输入,之后解封,但过一会又出现类似情况。

出现这个现象的原因是因为网站采取了一些反爬中措施,如:服务器检测IP在单位时间内请求次数超过某个阀值导致,称为封IP。

为了解决此类问题,代理就派上了用场,如:代理软件、付费代理、ADSL拨号代理,以帮助爬虫脱离封IP的苦海。

测试HTTP请求及响应的网站:http://httpbin.org/

GET地址 :http://httpbin.org/get

POST地址:http://httpbin.org/post

httpbin这个网站能测试 HTTP 请求和响应的各种信息,比如 cookie、ip、headers 和登录验证等.

且支持 GET、POST 等多种方法,对 web 开发和测试很有帮助。

它用 Python + Flask 编写,是一个开源项目。开源地址:https://github.com/Runscope/httpbin

返回信息中origin的字段就是客户端的IP地址,即可判断是否成功伪装IP:

代理的设置:

urllib的代理设置

requests的代理设置

Selenium的代理使用

使用的是PhantomJS

使用的是Chrome

在Scrapy使用代理

免费代理IP的使用

我们可以从互联网中获取免费的代理IP:如:西刺

收费代理IP的使用

收费代理还是很多的如:

西刺

讯代理

快代理

大象代理

在requests中使用收费代理

*声明:本文于网络整理,版权归原作者所有,如来源信息有误或侵犯权益,请联系我们删除或授权事宜。

觉得不错,点个“在看”然后转发出去

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20191030A0DKK300?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券