IPProxyPool4月6号更新。。。

大家好,今天完成对IPProxyPool较大范围地更新,主要是根据大家的需求反馈进行的调整。下面说一下更新的主要内容:

1.更新评分机制。

  • 之前的评分机制是刚添加进来每个代理ip为0分,每隔半个小时检测一次,检测之后依然有效则加分,无效则删除。
  • 现在的评分机制是每个新的代理ip分配10分,每隔半个小时检测一次,检测之后依然有效则分数不变,无效则分数减一,直至为0删除,可以避免由于检测网站不稳定导致的误删。

2.用户可以自定义检测函数,在config.py的CHECK_PROXY变量中可以配置。

  • CHECK_PROXY变量是为了用户自定义检测代理的函数,默认是CHECK_PROXY={'function':'checkProxy'}。
  • 现在使用检测的网址是httpbin.org,但是即使ip通过了验证和检测
  • 也只能说明通过此代理ip可以到达httpbin.org,但是不一定能到达用户爬取的网址。因此在这个地方用户可以自己添加检测函数,我以百度为访问网址尝试一下
  • 大家可以看一下Validator.py文件中的baidu_check函数和detect_proxy函数就会明白。 CHECK_PROXY={'function':'baidu_check'}

3.经过大家的共同努力,彻底解决了僵死进程的问题。

由于IPProxyPool项目是通过多进程+协程的方式对代理ip进行抓取和验证的,因此容易出现开启进程较多无法及时销毁的现象,即僵尸进程。经过大家的努力,最终将这个问题进行彻底地解决了,谢谢大家的支持。

下一篇博文,咱们就开始讲解我的另一个开源项目PowerProxy,希望大家多多支持。

原文发布于微信公众号 - 七夜安全博客(qiye_safe)

原文发表时间:2017-04-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏乐沙弥的世界

Oracle 常用性能视图一览表(10g)

--************************************* -- Oracle 常用性能视图一览表(10g) --************...

672
来自专栏NetCore

了解EF CodeFirst的Migrator功能与Migrator.Net对比

在上一篇【数据库迁移利器:Migrator.Net】中,很多朋友提到了EF的CodeFirst也有数据库的迁移功能,说来真惭愧,玩了那么多年,至今还未去了解EF...

1879
来自专栏AI科技大本营的专栏

TensorFlow 1.8.0正式发布,Bug修复和改进内容都在这里了

【导语】TensorFlow 1.8.0 近日正式发布,新版本主要有以下改进内容,AI科技大本营对其编译如下。 ▌主要特点及改进 可以将 tf.contrib...

3249
来自专栏菩提树下的杨过

Oracle BIEE (Business Intelligence) 11g 11.1.1.6.0 学习(2)RPD资料档案库创建

BI创建(数据)分析、仪表盘、报表前,都需要对数据进行建模,在oracle biee里称为创建“资料档案库”-该文件后缀为RPD,所以一般也称为创建RPD文件。...

1936
来自专栏YouMeek

1.6 Elasticsearch DSL 批量操作

课程环境 CentOS 7.3 x64 JDK 版本:1.8(最低要求),主推:JDK 1.8.0_121 Elasticsearch 版本:5.2.0 相关软...

3347
来自专栏信安之路

Wifi 四次握手认证过程介绍

如今大家都非常熟悉 WiFi 密码常见的破解手法,可是破解的原理你懂吗?我想很多人都是不知道的,所以今天就来简单的讲解一下。

810
来自专栏安富莱嵌入式技术分享

【二代示波器教程】第11章 示波器设计—功能模块划分

二代示波器的界面上做了五个按钮,分别用于不同功能的配置,本章节就为大家讲解这五个按钮实现的功能。

792
来自专栏企鹅号快讯

自动化测试如何解决验证码的问题

对于web应用来说,大部分的系统在用户登录时都要求用户输入验证码,验证码的类型的很多,有字母数字的,有汉字的,甚至还要用户输入一条算术题的答案的,对于系统来说使...

2278
来自专栏北京马哥教育

HTTPS连接的前几毫秒发生了什么

提示:英文原文写于2009年,当时的Firefox和最新版的Firefox,界面也有很大改动。以下是正文。 花了数小时阅读了如潮的好评,Bob最终迫不及待为他购...

3387
来自专栏机器之心

资源 | Parris:机器学习算法自动化训练工具

3279

扫码关注云+社区