如何在Scrapy请求中发送自定义标头？

在Scrapy请求中发送自定义标头，可以通过在Spider类中的start_requests方法中设置headers参数来实现。headers参数是一个字典，可以包含自定义的请求头信息。

以下是一个示例代码：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'

    def start_requests(self):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
            'Referer': 'http://www.example.com'
        }
        yield scrapy.Request(url='http://www.example.com', headers=headers, callback=self.parse)

    def parse(self, response):
        # 解析响应数据
        pass

在上面的代码中，我们在start_requests方法中创建了一个headers字典，并设置了User-Agent和Referer字段。然后，我们使用scrapy.Request类创建了一个请求对象，并将headers字典作为参数传递给请求对象的headers参数。最后，我们通过yield关键字将请求对象返回，Scrapy会自动发送该请求。

通过这种方式，我们可以在Scrapy请求中发送自定义标头，以模拟不同的浏览器、设置Referer等。这在爬取网站时非常有用，可以避免被网站识别为爬虫而限制访问。