python爬虫遇到IP被封的情况,怎么办?

代理服务的介绍:

  • 我们在做爬虫的过程中经常最初爬虫都正常运行,正常爬取数据,一切看起来都是美好,然而一杯茶的功夫就出现了错误。
  • 如:403 Forbidden错误,“您的IP访问频率太高”错误,或者跳出一个验证码让我们输入,之后解封,但过一会又出现类似情况。
  • 出现这个现象的原因是因为网站采取了一些反爬中措施,如:服务器检测IP在单位时间内请求次数超过某个阀值导致,称为封IP。
  • 为了解决此类问题,代理就派上了用场,如:代理软件、付费代理、ADSL拨号代理,以帮助爬虫脱离封IP的苦海。
  • 测试HTTP请求及响应的网站:http://httpbin.org/
  • GET地址 :http://httpbin.org/get
  • POST地址:http://httpbin.org/post
  • httpbin这个网站能测试 HTTP 请求和响应的各种信息,比如 cookie、ip、headers 和登录验证等.
  • 且支持 GET、POST 等多种方法,对 web 开发和测试很有帮助。
  • 它用 Python + Flask 编写,是一个开源项目。开源地址:https://github.com/Runscope/httpbin
  • 返回信息中origin的字段就是客户端的IP地址,即可判断是否成功伪装IP:

代理的设置:

① urllib的代理设置

from urllib.error import URLError
from urllib.request import ProxyHandler, build_opener

proxy = '127.0.0.1:8888'
#需要认证的代理
#proxy = 'username:password@127.0.0.1:8888'

#使用ProxyHandler设置代理
proxy_handler = ProxyHandler({
 'http': 'http://' + proxy,
 'https': 'https://' + proxy
})
#传入参数创建Opener对象
opener = build_opener(proxy_handler)
try:
 response = opener.open('http://httpbin.org/get')
 print(response.read().decode('utf-8'))
except URLError as e:
 print(e.reason)

② requests的代理设置

import requests

proxy = '127.0.0.1:8888'
#需要认证的代理
#proxy = 'username:password@127.0.0.1:8888'

proxies = {
 'http': 'http://' + proxy,
 'https': 'https://' + proxy,
}
try:
 response = requests.get('http://httpbin.org/get', proxies=proxies)
 print(response.text)
except requests.exceptions.ConnectionError as e:
 print('Error', e.args)

③ Selenium的代理使用

  • 使用的是PhantomJS
from selenium import webdriver

service_args = [
 '--proxy=127.0.0.1:9743',
 '--proxy-type=http',
 #'--proxy-auth=username:password' #带认证代理
]

browser = webdriver.PhantomJS(service_args=service_args)
browser.get('http://httpbin.org/get')
print(browser.page_source)
  • 使用的是Chrome
from selenium import webdriver

proxy = '127.0.0.1:9743'
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://' + proxy)
chrome = webdriver.Chrome(chrome_options=chrome_options)
chrome.get('http://httpbin.org/get')

④ 在Scrapy使用代理

#在Scrapy的Downloader Middleware中间件里
 ...
 def process_request(self, request, spider):
 request.meta['proxy'] = 'http://127.0.0.1:9743'
 ...

免费代理IP的使用

我们可以从互联网中获取免费的代理IP:如:西刺

import requests,random

#定义代理池
proxy_list = [
 '182.39.6.245:38634',
 '115.210.181.31:34301',
 '123.161.152.38:23201',
 '222.85.5.187:26675',
 '123.161.152.31:23127',
]

# 随机选择一个代理
proxy = random.choice(proxy_list)

proxies = {
 'http': 'http://' + proxy,
 'https': 'https://' + proxy,
}
try:
 response = requests.get('http://httpbin.org/get', proxies=proxies)
 print(response.text)
except requests.exceptions.ConnectionError as e:
 print('Error', e.args)

收费代理IP的使用

收费代理还是很多的如:

  • 西刺
  • 讯代理
  • 快代理
  • 大象代理

在requests中使用收费代理

import requests

# 从代理服务中获取一个代理IP
proxy = requests.get("http://tvp.daxiangdaili.com/ip/?tid=559775358931681&num=1").text
proxies = {
 'http': 'http://' + proxy,
 'https': 'https://' + proxy,
}
try:
 response = requests.get('http://httpbin.org/get', proxies=proxies)
 print(response.text)
except requests.exceptions.ConnectionError as e:
 print('Error', e.args)

本文分享自微信公众号 - python教程(pythonjc)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-10-31

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏故久

itext将html转pdf

14930
来自专栏CDA数据分析师

网红AI教师Siraj Raval彻底栽了!剽窃论文遭Jeff Dean等大牛抵制

网红AI研究员、号称拥有 100 万学生的 Siraj Raval,这次彻底栽了。

12820
来自专栏机器学习算法与Python学习

网红AI教师Siraj Raval彻底栽了!剽窃论文遭Jeff Dean等大牛抵制

网红AI研究员、号称拥有 100 万学生的 Siraj Raval,这次彻底栽了。

8410
来自专栏用户6477171的专栏

软件推荐之­——压缩软件特辑

有不少朋友问我们,能不能推荐个压缩软件?也有很多网友纷纷推荐了自己使用的压缩软件,所以我们就整理了一下大家提出的软件列表。

13230
来自专栏萌海无涯

黑雷苹果模拟器 v1.1.2桌面版

黑雷苹果桌面版是一款由我国自主研发的首款苹果手机模拟器,软件功能非常简单,通过这款软件玩家可以在电脑上运行苹果手机中的软件和游戏,是国内首款PC电脑iPhone...

10410
来自专栏.Net、.Net Core 、Docker

通俗易懂设计模式解析——责任链模式

  今天我们介绍的是责任链模式【Chain of Responsibility Pattern】。对于责任链模式理解起来还是比较容易的。例如在公司请假、三天以内...

7840
来自专栏搜云库技术团队

小型系统如何“微服务”开发

提到“微服务”,我相信网上各种“微服务”的演变案例都会给人一种“因大而分”的前提错觉,这可能会导致许多的“小白”产生没有机会接触“大项目”而对“微服务”可望而不...

9130
来自专栏用户6477171的专栏

“净广大师”病毒HTTPS劫持技术深度分析

近期,火绒团队截获一个由商业软件携带的病毒,并以其载体命名为“净广大师”病毒。在目前广为流行的“流量劫持”类病毒中,该病毒策略高明、技术暴力,并攻破HTTPS的...

11540
来自专栏用户6477171的专栏

火绒安全警报:新型宏病毒通过Excel传播 访问2345网站暗刷流量

【快讯】火绒安全团队发出警告,近日,一批新型宏病毒正通过Excel文件传播,该病毒入侵电脑运行后,会悄悄访问带有推广计费名的2345网址暗刷流量,并且还会感染电...

7330
来自专栏云服务器哪家好评价

国内品牌云服务器综合评价 云服务器哪家好?

云服务器哪家好?如今云服务在国内的应用越来越广泛,不仅仅是企业和站长,很多办公软件和应用平台也在使用云。而主机市场上目前的云服务商众多,以至于用户在选择的时候不...

19030

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励