问题是我不能抓取网站的一部分。如果我使用chrome devmode,我无法在xpath或选择器中复制正确的位置。 我将获得其他选项卡或div的正确路径,例如正文标题:body > div.header.home-header > div 然而,当我试图获得包含我想要的信息的标签时,我只得到了:#htmlContent。如果我手动编写它,它应该是:body > div.main.main-top.seach-boxstyle > div > div > div.recommend-product-wrap.produc-text > div >
但是我没有看到子页面的任何内容数据,响应是200,但内容只是普通的HTML页面源代码,不包含动态加载的内容。看起来像是一个子页面将Scrapy检测为机器人。我的代码:from scrapy.crawler import CrawlerProcessimport time
name = 'eva'
custom_settin