我试图使用或更改IP地址,并对所有可访问的公共数据进行web抓取,但我无法找到解决方案。我正在尝试做一个旋转的ip地址。我在Windows 10和Anaconda IDE上。例如,我在下面执行以下代码:
import requests
domain = "https://www.undernews.fr"
#define your proxies
#the socks5h method allows the socks server to translate the #hostname. So make sure that you add 'socks5h'.
我有一个项目,必须从一个网站每天获得100页的数据。我使用一个有登录详细信息的付费代理,我在请求之间等待5秒,这样我就不会敲击他们的网站并传递一个referer,user-agent,这是一个简单的GET请求。
然而,我试着做了一个小的C#控制台脚本来测试添加代理的各种方式,例如有或没有凭据,并获得了一个有效的IP:Port from the web > 来测试它,因为我在这个测试中的详细信息不起作用。我不明白为什么这个测试脚本不能工作,而我的主项目是。
我正在访问一个我拥有的旧网站,所以我不会阻挡我自己的家庭IP,因为我可以在浏览器中轻松地在web (或任何其他页面或网站)上访问它。