首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

系统如何识别爬虫代理?

识别代理IP的四种方法,神龙IP告诉你!

系统如何识别代理IP?

一、反向探测技术

扫描IP是不是开通了80,8080等代理服务器经常开通的端口,显然一个普通的用户IP不太可能开通如上的端口。

二、HTTP头部的X_Forwarded_For

开通了HTTP代理的IP可以通过此法来识别是不是代理IP;如果带有XFF信息,该IP是代理IP无疑。

三、Keep-alive报文

如果带有Proxy-Connection的Keep-alive报文,该IP毫无疑问是代理IP。

四、查看IP上端口

如果一个IP有的端口大于10000,那么该IP大多也存在问题,普通的家庭IP开这么大的端口几乎是不可能的。

这四种代理IP检测的方法几乎都是公开的,一些大公司为了避免恶意IP还会采取其他方法。比如利用网络爬虫爬取代理IP并作以标记,更有甚者,会通过业务建模收集恶意IP,然后再通过协议扫描的方式来判断这些IP是不是代理IP。

以上就是系统识别代理IP 的方法,希望对你有所帮助。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20210118A04LHF00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券