专栏首页在码圈Java代理IP池 ( Proxy Pool ) - 改进版

Java代理IP池 ( Proxy Pool ) - 改进版

背景

前段时间,写java爬虫来爬网易云音乐的评论。不料,爬了一段时间后ip被封禁了。由此,想到了使用ip代理,但是找了很多的ip代理网站,很少有可以用的代理ip。 于是,抱着边学习的心态,Fork了一个代理ip池。

相关技术及环境

技术: SpringBoot,SpringMVC, Hibernate, MySQL, Redis , Maven, Lombok, BootStrap-table,多线程并发 环境: JDK1.8 , IDEA

开源地址

源作者开源地址:

https://github.com/chenerzhu/proxy-pool

现改进版Fork 地址

https://github.com/hiparker/proxy-pool

实现功能

通过ip代理池,提供高可用的代理ip,可用率达到95%以上。

{
    "code":200,
    "data":[
        {
            "available":true,
            "ip":"1.10.186.214",
            "lastValidateTime":"2018-09-25 20:31:52",
            "location":"THThailand",
            "port":57677,
            "requestTime":0,
            "responseTime":0,
            "type":"https",
            "useTime":3671
        }
    ],
    "message":"success"
}
  • 如要返回json格式的接口 可自行开发

设计思路

模块划分

  • 爬虫模块:爬取代理ip网站的代理IP信息,先通过队列再保存进数据库。
  • 数据库同步模块:设置一定时间间隔同步数据库IP到redis缓存中。
  • 缓存redis同步模块:设置一定时间间隔同步redis缓存到另一块redis缓存中。
  • 缓存redis代理ip校验模块:设置一定时间间隔redis缓存代理ip池校验。
  • 前端显示及接口控制模块:显示可用ip页面,及提供ip获取api接口。

IP来源

改进本-优化

  • 可配置化
  • 收费api配置化

如何使用

前提: 已经安装JDK1.8环境,MySQL数据库,Redis。 先使用maven编译成jar,proxy-pool-1.0.jar。 使用SpringBoot启动方式,启动即可。

java -jar proxy-pool-1.0.jar

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • SQL练习题

    练习0: 1.修改部门编号为3的部门,部门名称改为”总办” 2.把市场部门删除掉 3.修改num在005以上所有人的支出比原来支出少20 (outcome...

    Parker
  • win10必备效率预览神器-Quick look

    Mac上直接空格就可以预览文件,很多Windows用户也经常抱怨,如果Windows上也有Mac的空格预览就好了。

    Parker
  • win10检索神器-Everything,让你电脑搜索速度提升进10倍!

    Parker
  • 【Go】获取用户真实的ip地址

    用户请求到达提供服务的服务器中间有很多的环节,导致服务获取用户真实的 ip 非常困难,大多数的框架及工具库都会封装各种获取用户真实 ip 的方法,在 exne...

    thinkeridea
  • 微信小程序获取用户所在城市

    在微信小程序中, 获取用户的地理位置是需要权限的, 如果只是获取用户所在的城市信息, 那只需查看用户ip所在的城市就好了, 下面我们就完成获取用户ip的小程序逻...

    Javanx
  • django request 获取请求的 IP 地址

    KEVINGUO_CN
  • 调用python-nmap实现扫描局域网

    使用环境:Raspberry 3b+ +netifaces+python-nmap+nmap

    py3study
  • python实现主机批量管理

        在日常的运维工作中批量对主机的是很常见的,市面上也有许多主机批量管理的软件,但有时候这些软件并不能完全的满足我们的需求。python中刚好提供了关于主机...

    py3study
  • 关于伪造ip的可行性

    今晚,用curl进一个网站发现ip被限制访问了,然后我又开始了百度伪造请求ip的方法

    仙士可
  • python 爬虫之搭建代理ip池–测试代理ip可用性

    kirin

扫码关注云+社区

领取腾讯云代金券