python3网络爬虫课程 9.1代理的简单使用
我们在做爬虫的过程中经常遇到：爬虫运行的好好的，结果一会儿出现了错误，如 403 等。出现这个问题的原因是网站采取了一些反爬虫措施，服务器会检查 ip 在单位时间内的请求次数，如果超过了某个阈值，那么就会直接拒绝服务。怎么解决这个问题呢？就是这节课的代理的使用。
代理的设置
前面介绍了很多请求库，如 urllib、requests、selenium 等，下面介绍一下这些库怎么使用代理。
获取代理
我们需要一个可用的代理，百度搜索“代理”，有很多免费的代理网站，比如西刺，当然，免费的代理一般都不好用，所以有条件的同学可以买付费代理。
urllib
requests
Selenium
- 发表于:
- 原文链接：https://kuaibao.qq.com/s/20191031A0F66000?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
