首页
学习
活动
专区
工具
TVP
发布

python爬虫中的https请求证书问题,原理及处理

理解https

https是HTTP+SSL的简称,是在HTTP传输方式的基础上将之前的明文进行了加密传输,在传输之前就会确定信息加密方式和秘钥,在传输中即使被捕获或者伪造,那么也能保证信息不被泄露。

而爬虫本质是伪装成一个浏览器,发送请求给服务器,参与了整个过程,所以即使https链接也能抓取,但前提是伪造的这个客户端有正确的SSL证书。

寻找错误根源

爬虫运行中提示SSL error错误的情况,一般是本地证书或者相关SSL库没有正确安装、服务器使用自己制作的CA证书,没有有权威机构认证

解决证书异常问题

对于CA证书问题我们可以参考下面集中方案:

1.不验证CA证书,但要忽略安全警告

2.指定证书位置或含证书的文件夹(此文件夹是由OpenSSL工具制作的)

默认情况下verify是TRue

------------------------------

ID:Python之战

|作|者|公(zhong)号:python之战

专注Python,专注于网络爬虫、RPA的学习-践行-总结

喜欢研究和分享技术瓶颈,欢迎关注

独学而无友,则孤陋而寡闻!

---------------------------

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190112A14B9600?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券