首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

神龙科普:关于HTTP代理的几个解答

HTTP代理主要运用于爬虫大数据的抓取,网络爬如果想在较短的时间内抓取大量的数据,需要配合使用HTTP代理IP,网络爬虫没有代理IP,可以说是寸步难行了。对HTTP代理,有哪些常见的问题呢?一起来看看神龙IP的解答吧~

神龙科普:关于HTTP代理的几个解答

问题一:代理IP有效时间越久越好吗?

IP的时效有长效的,也有短效的,长的有几天到一年,短的从一分钟到几分钟不等,这些代理IP的时效怎么选?是不是代理IP有效时间越久越好?其实,没有时效越久越好的说法,不同的时效仅是满足不同的项目需求。

问题二:所有代理IP的匿名性都一样吗?

其中透明代理和普通代理并不推荐使用,虽然也有代理效果,但是会被网站服务器识别出使用了代理IP,因此不适合效果补量、广告点击等业务。而高匿名代理,不仅可以很好的隐藏用户真实IP,还可以完美对网站服务器伪装,好像是一个真正客户端在访问一样。

问题三:如果隧道转发爬虫代理请求过多会返回什么?

如果开通的HTTP\HTTPS代理,系统返回429TooManyRequests;如果开通的Socket5代理,系统会主动对TCP延迟降速,或者直接拒绝超出部分的TCP请求。这两种处理方式都不会对爬虫的运行产生影响,爬虫会根据返回结果自动重新发起请求,这是HTTP\HTTPS和Socket5的标准应答模式。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20210127A089V800?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券