然而,在列出的一些Amazon电视上,它们并不都有相同的Xpath元素;有些有主(列出)价格,有些有"as New“价格,还有一些还有”使用时“的价格。我的问题是,当电视没有主(列出)价格时,我的CSV输出不会记录该项目的空值,而是使用下一个XPATH项,后者有主价格。是否有一种方法可以检查XPATH内容中是否存在项,如果没有,是否可以让爬行器或管道记录NULL或“?”。我的主要蜘蛛代码是: name =
class A1Spider(scrapy.Spider): allowed_domains = ["www.amazon.com"] 'http://www.amazon.com/s/ref=nb_sb_noss_1?to determine the xpath. it is different from what
我有一个蜘蛛和管道,并编写一个代码从web中提取数据并插入到正在运行的MySQL中。class AmazonAllDepartmentSpider(scrapy.Spider):
allowed_domains = ["amazon.com" def parse(self, response):
for sel in response.xpath('//