首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Flask+Redis维护代理池

Flask+Redis维护代理池

作者头像
林清猫耳
发布2018-07-04 11:03:45
4880
发布2018-07-04 11:03:45
举报
文章被收录于专栏:我爱编程我爱编程

为什么要用代理池?

许多网站有专门的反爬虫措施,可能遇到封IP等问题。遇到这种问题时,就需要用各种代理来伪装IP请求网站,防止封IP问题导致爬虫不能成功。互联网上公开了大量免费代理,利用好资源。维护代理池把一些不好用的剔除,好用的供爬虫使用。通过定时的检测维护同样可以得到多个可用代理。

代理池的要求

  • 多站抓取,异步检测
  • 定时筛选,持续更新
  • 提供接口,易于获取

代理池架构

抓取器(Internet) --> 过 滤器 --> 代理队列 --> [API, 定时检测器]

代理池实现

https://github.com/linqingmaoer/ProxyPool

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018.05.19 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 为什么要用代理池?
  • 代理池的要求
  • 代理池架构
  • 代理池实现
相关产品与服务
云数据库 Redis
腾讯云数据库 Redis(TencentDB for Redis)是腾讯云打造的兼容 Redis 协议的缓存和存储服务。丰富的数据结构能帮助您完成不同类型的业务场景开发。支持主从热备,提供自动容灾切换、数据备份、故障迁移、实例监控、在线扩容、数据回档等全套的数据库服务。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档