前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >分享一个实用的扫描代理ip的方式

分享一个实用的扫描代理ip的方式

作者头像
wo.
发布2021-06-15 11:15:16
3.1K0
发布2021-06-15 11:15:16
举报
文章被收录于专栏:了不得的专栏

只有流程和思路,没有代码。 不要用国外的机器跑,秒被封。

一个脚本控制masscan ,20000pps的速率,扫十几个常用的代理端口,随机扫一个A段,大概4个小时扫完。 一个python 脚本,处理masscan的扫描结果,用多线程的去验证每个IP+端口,每次验证要用三种方式轮一遍:HTTP,SOCK4,SOCK5 。验证通过了就是可用的IP。

开4000线程,10秒超时,1次重试,大概1分钟跑1万,masscan 4个小时跑一个A段,能跑出来20万条,这样的话4个小时内python 能循环上12次,因为不一定跑一次就能把可用的IP都验证出来,尽可能的多验证。

基本的原理就是上面,但是还得再复杂点,就是分布式,如果有多个机器 的话,要协同作业。 建立一个proxy.xxx.com 的页面,接收python 脚本验证通过的代理,保存到数据库。masscan 那个不需要特意控制扫哪个A段,随机就行。

有的代理可以用一二年,有的代理一两个小时就失效,所以在proxy.xxx.com 这里还得不停的去验证保存的代理。

只用一台机器跑的话,一天能跑出上千个,甚至几千个。但是我好像还没有同时持有超过1万个过,因为失效的太多,太快。

手里有采集项目的可以搞一下。没项目的话就算了,浪费时间,浪费机器。

另一种直接用网上公开的,关键词:proxy socks5 list

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2019-07-09,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档