为什么使用了HTTP代理还是被拒绝访问？

img

既然某乎为我推荐了这个问题，那今天就来简单说说，使用了HTTP代理后，还是拒绝访问，无非以下原因：

1.HTTP代理已经被目标网站标记识别并且禁止访问了

这种情况比较常见于那些免费使用的HTTP代理，据我所知，为了吸引客流目前还是蛮多网站上有这种资源的，免费的HTTP代理也不是说就是个雷，相对于使用场景来说有利有弊吧。我一向秉持的观点是：练手可以，工作上做项目那可别。我之前说的免费HTTP代理的弊端已经够多了，网上也很多人说，就不再赘述了，总而言之：

img

2.HTTP代理商提供的HTTP代理匿名等级不够

这种常见于那种没什么资质，或者价格过于便宜的厂商，总的来说，HTTP代理这种玩意实际上也是由一定成本的，你用那种连广告都做不起的，隐患可比广告铺满天的隐患大。连广告都做不起的，你敢信他们家由钱搞代理服务器？有钱搞，那有钱维护吗？我们的任务在一众合规又有强力支撑的厂商中，通过“善于发现美”的眼睛和动手测试找到符合自己心意的HTTP代理厂商。

3.使用时的行为习惯

现在大部分的网站都会更新反爬虫机制，以应对爬虫的挑战。毕竟现在是数字时代，数据采集做商业分析已经是一个非常非常常见的商业行为了，只要你在目标网站的底线内，人家确实可以让你采，但是你要是过了，比如：短时间内疯狂访问，目标网站一整个就被搞崩溃了，连普通的，目标网站的真正用户都使用不上，断人财路，好比那啥。那不封你，难道封我吗？

该怎么处理？

这个问题也是老生常谈，属实是会被平台检测为复制黏贴的程度：

1.找靠谱点的HTTP代理商，如何找，往前翻，我上面说了。

2.控制一下自己的数据采集适合的行为习惯，模拟正式用户行为啊，降低请求频率啊，设置间隔时间啊，修改请求头信息啊……总之，“做个人”吧。

3.定期查看自己HTTP代理服务器和爬虫运行的情况，及时根据反馈回来的数据问题代码调整爬虫策略，提高成功率。

我之前对比过此类产品：

img

img

img

以及，静态HTTP代理的对比：

img