通过我在这里编写代码的方式,我从不同的站点获得了结果,但由于某种原因,这个站点抛出了错误。因为我是scrapy的新程序员,我没有能力自己解决这个问题。Xpath是正确的。我将我在终端中看到的内容与代码一起附加:import scrapy Title = scrapy.Field()olxsp.pyfrom scrapy.linkextractors i
我发现有几个网站提供了一个函数,允许您列出托管在同一台机器上的所有域,例如您提供的a.com,它告诉您b.com and c.com和a.com都托管在同一台机器上。
他们怎么知道的?我的第一个想法是在a.com上进行DNS查找,查找其IP,并对所有这些IP进行反向IP查找,以查看是否有任何域匹配。在这种情况下,这个过程被认为是缓慢的,但是网站几乎立即返回结果,所以他们不能使用这种方法。