我们在爬虫数据采集的时候,除了可以使用python,易语言,java,php等一些常见的编程语言之外,还有一些现成的采集器,采集软件可以使用,比如火车头采集器。下面就以火车头采集器为例讲解一下如何设置HTTP代理IP。
企业级爬虫代理ip
如图所示,根据火车头官方帮助文档的教程,第一步,打开http二级代理服务器,点击批量导入。
http代理ip
第二步,点击添加按钮,直接将刚才找多米代理IP客服领取的生成的API链接放入火车采集器地址栏处(图中框框添加处)。
第三步,勾选开启定时刷新,设置好时间后采集器会定时请求API链接来获取最新的代理IP地址。点击导入,这样API就设置好了。若是不是长时间采集,则不需要勾选这个选项。
免费代理ip
第四步,点击导入后,火车头会根据你设置好的定时采集时间,自动打开API链接提取代理IP,然后按照你你写好的采集规则进行采集。
以上就是如何在火车头采集器里面使用代理IP的方法和免费HTTP代理IP的领取,更多关于火车头采集器和其他采集软件的设置方法请查看采集器的官方帮助文档,关于代理IP的问题可咨询多米HTTP代理网站右侧的在线客服。
领取专属 10元无门槛券
私享最新 技术干货