前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >IPProxyPool4月6号更新。。。

IPProxyPool4月6号更新。。。

作者头像
七夜安全博客
发布2018-06-26 13:20:26
3050
发布2018-06-26 13:20:26
举报
文章被收录于专栏:七夜安全博客

大家好,今天完成对IPProxyPool较大范围地更新,主要是根据大家的需求反馈进行的调整。下面说一下更新的主要内容:

1.更新评分机制。

  • 之前的评分机制是刚添加进来每个代理ip为0分,每隔半个小时检测一次,检测之后依然有效则加分,无效则删除。
  • 现在的评分机制是每个新的代理ip分配10分,每隔半个小时检测一次,检测之后依然有效则分数不变,无效则分数减一,直至为0删除,可以避免由于检测网站不稳定导致的误删。

2.用户可以自定义检测函数,在config.py的CHECK_PROXY变量中可以配置。

  • CHECK_PROXY变量是为了用户自定义检测代理的函数,默认是CHECK_PROXY={'function':'checkProxy'}。
  • 现在使用检测的网址是httpbin.org,但是即使ip通过了验证和检测
  • 也只能说明通过此代理ip可以到达httpbin.org,但是不一定能到达用户爬取的网址。因此在这个地方用户可以自己添加检测函数,我以百度为访问网址尝试一下
  • 大家可以看一下Validator.py文件中的baidu_check函数和detect_proxy函数就会明白。 CHECK_PROXY={'function':'baidu_check'}

3.经过大家的共同努力,彻底解决了僵死进程的问题。

由于IPProxyPool项目是通过多进程+协程的方式对代理ip进行抓取和验证的,因此容易出现开启进程较多无法及时销毁的现象,即僵尸进程。经过大家的努力,最终将这个问题进行彻底地解决了,谢谢大家的支持。

下一篇博文,咱们就开始讲解我的另一个开源项目PowerProxy,希望大家多多支持。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-04-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 七夜安全博客 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档