我正在写一只抓取蜘蛛,为今天的“纽约时报”的文章从主页上爬行,但出于某种原因,它没有跟随任何链接。当我在scrapy shell http://www.nytimes.com中实例化链接提取器时,它成功地用le.extract_links(response)提取了一个文章urls列表,但是除了主页之外,我无法获得爬行命令(scrapy crawl nyt -o out.json)来抓取任何东西。我有点不知所措了。是因为主页不产生解析函数的文章吗?任何帮助都是非常感谢的。
from datetime import date