问Tor网络爬虫

EN

cURL也支持SOCKS连接；试试这个：

<?php

$ch = curl_init('http://google.com'); 
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); 

// SOCKS5
curl_setopt($ch, CURLOPT_PROXY, 'localhost:9050'); 
curl_setopt($ch, CURLOPT_PROXYTYPE, CURLPROXY_SOCKS5);

curl_exec($ch); 
curl_close($ch);

除非我漏掉了什么，否则答案是肯定的，还有Tor网站上的here is some documentation。这些说明非常具体。虽然我没有将Tor设置为代理，但这是我考虑过的事情，这是我想要开始的地方。

编辑:在Linux上设置Tor并将其用作代理是非常简单的，正如文档所建议的那样。

sudo apt-get install tor
sudo /etc/init.d/tor start

netstat -ant | grep 9050 # verify Tor is running

现在，在查看了操作代码之后，我们看到了对file_get_contents.的调用虽然最简单的方法一开始使用，但当您想要开始参数化请求时，file_get_contents会变得很麻烦，因为您必须使用stream contexts。

第一个建议是转向curl，但同样，为了真正回答这个问题，阅读更多关于SOCKS如何使用HTTP的文章是有问题的……但要从技术上回答这个问题，如何向本地主机上的Tor SOCKS代理发送HTTP请求，还是很简单的。

<?php  
$ch = curl_init('http://google.com'); 
curl_setopt($ch, CURLOPT_HEADER, 1); 
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); 
curl_setopt($ch, CURLOPT_PROXY, 'https://127.0.01:9050/'); 
curl_exec($ch); 
curl_close($ch);

但是Tor告诉了我们什么呢？

HTTP/1.0 501 Tor不是

代理

Content-Type: text/html；charset=iso-8859-1

基本上，是关于SOCKS和HTTP的learn more。另一种选择是搜索PHP SOCKS客户端。快速检查一下就会发现，a library声称可以通过SOCKS发送HTTP请求。

编辑：

好了，再编辑一次！在写完上一篇文章几秒钟后，我找到了一种方法。This article向我们展示了如何设置Privoxy，它将SOCKS请求转换为HTTP请求。把它放在Tor和blamo前面，我们通过Tor发送代理的HTTP请求！

您必须通过使用"dnsport“指令配置tor来拦截来自php脚本的dns查找请求。然后你必须为tor配置一个“传输”和一个“虚拟网络地址”。现在，当您的php脚本通过tor执行dns查找时发生的情况是，tor看到一个请求洋葱地址的请求，并使用"virtualnetworkaddress“范围内的ip地址进行响应。现在，您必须将去往此地址的流量重定向到使用"transport“定义的地址。阅读"torrc“手册中的"automaphostonresolve”、"virtualnetworkaddress“、"dnsport”和"transport“。