如何在scrapy函数中删除项目名称？
提问于 2019-05-08 15:33:48
当运行编码时，它给我的项目价格，但项目名称是相同的。这意味着它先给transcription_price: 245，然后给transcription_price: 240。应该有caption_price和transcription_price。为什么以及如何解决这个问题？
import scrapy
from .. items import FetchingItem
import re
class SiteFetching(scrapy.Spider):
name = 'Site'
start_urls = ['https://www.rev.com/freelancers/transcription',
'https://www.rev.com/freelancers/captions']
def parse(self, response):
items = FetchingItem()
Transcription_price = response.css('#middle-benefit .mt1::text').extract()
items['Transcription_price'] = Transcription_price
def next_parse(self, response):
other_items = FetchingItem()
Caption_price = response.css('#middle-benefit .mt1::text').extract()
other_items['Caption_price'] = Caption_price
yield other_items
yield items
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-05-08 18:00:30
您的代码永远不会到达方法self.next_parse。默认情况下，Scrapy对self.start_urls中的每个URL调用回调self.parse。您可以通过重写方法start_requests来使用自定义回调。
下面是你如何做到这一点：
import scrapy
from .. items import FetchingItem
import re
class SiteFetching(scrapy.Spider):
name = 'Site'
def start_requests(self):
return [
scrapy.Request('https://www.rev.com/freelancers/transcription', callback=self.parse_transcription),
scrapy.Request('https://www.rev.com/freelancers/captions', callback=self.parse_caption)
]
def parse_transcription(self, response):
items = FetchingItem()
Transcription_price = response.css('#middle-benefit .mt1::text').extract()
items['Transcription_price'] = Transcription_price
yield items
def parse_caption(self, response):
other_items = FetchingItem()
Caption_price = response.css('#middle-benefit .mt1::text').extract()
other_items['Caption_price'] = Caption_price
yield other_items有关详细信息，请参阅Spider documentation。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56044280
复制相关文章
腾讯云开发者
