问抓取爬行器在增加蜘蛛的并发性的同时会产生DNS查找错误。

EN

我已经写了一个爬虫，如果我使用默认的刮擦设置，它的工作非常好。我已经用10K的URL对它进行了测试，但是我有数以百万计的刮除的URL，而且我也希望这是快速的，所以我已经将默认的CONCURRENT_REQUESTS更改为300。所有这些都可以用于前几个100个URL(它包含以上测试的10K URL)，但是突然之间，其余的URL开始出现DNS查找错误。我不知道是什么导致了这个问题，URL似乎找到了，并且它与默认设置一起工作。

我的爬虫运行在windows 10机器上，它有2核和4 GB内存。