打破常规思维：Scrapy处理豆瓣视频下载的方式

# 创建一个名为douban_video的Scrapy项目
scrapy startproject douban_video

# 进入项目目录
cd douban_video

# 创建一个名为douban的爬虫，用于爬取豆瓣视频的网页
scrapy genspider douban www.douban.com

douban_video/
├── douban_video/
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders/
│       ├── __init__.py
│       └── douban.py
└── scrapy.cfg

# -*- coding: utf-8 -*-
import scrapy

class DoubanSpider(scrapy.Spider):
    name = 'douban'
    start_urls = ['https://www.douban.com']

    def parse(self, response):
        # 在这里，你可以使用Scrapy的选择器（Selector）来提取视频URL，然后使用Request对象下载视频。
        pass

# 设置代理服务器的域名和端口
HTTP_PROXY = 'ip.16yun.cn'
HTTP_PROXY_PORT = 31111

# 设置代理服务器的用户名和密码
HTTP_PROXY_USER = '16YUN123456'
HTTP_PROXY_PASS = '123456'

# -*- coding: utf-8 -*-
import base64
from scrapy import signals
from scrapy.exceptions import NotConfigured

class ProxyMiddleware(object):
    # 初始化中间件
    def __init__(self, proxy, port, user, password):
        # 保存代理服务器的信息
        self.proxy = proxy
        self.port = port
        self.user = user
        self.password = password

    # 从配置文件中读取代理服务器的信息
    @classmethod
    def from_crawler(cls, crawler):
        # 获取代理服务器的域名和端口
        proxy = crawler.settings.get('HTTP_PROXY')
        port = crawler.settings.get('HTTP_PROXY_PORT')
        # 获取代理服务器的用户名和密码
        user = crawler.settings.get('HTTP_PROXY_USER')
        password = crawler.settings.get('HTTP_PROXY_PASS')
        # 如果没有设置代理服务器的信息，抛出异常
        if not proxy or not port or not user or not password:
            raise NotConfigured
        # 创建中间件实例
        return cls(proxy, port, user, password)

    # 处理请求
    def process_request(self, request, spider):
        # 给请求添加代理服务器的信息
        request.meta['proxy'] = f'http://{self.proxy}:{self.port}'
        # 给请求添加代理服务器的认证信息
        auth = base64.b64encode(f'{self.user}:{self.password}'.encode()).decode()
        request.headers['Proxy-Authorization'] = f'Basic {auth}'

# 启用自定义的代理中间件
DOWNLOADER_MIDDLEWARES = {
    'douban_video.middlewares.ProxyMiddleware': 100,
}

# 定义一个起始URL，用于爬取豆瓣视频的网页
start_urls = ['https://www.douban.com/doulist/16002/']

def parse(self, response):
    # 在这里，我们使用Scrapy的选择器（Selector）来提取视频URL，然后使用Request对象下载视频。
    # 例如，假设视频URL在HTML中的类为`video_url`的标签内：
    video_url = response.xpath('//*[@class="video_url"]/@href')
    # 创建一个用于下载视频的Request对象
    video_request = scrapy.Request(url=video_url, callback=self.save_video)
    # 返回Request对象
    yield video_request

def save_video(self, response):
    # 在这里，我们使用response.body来获取视频数据，并将其保存到本地。
    # 例如，将视频数据保存到名为`video.mp4`的文件中：
    with open('video.mp4', 'wb') as f:
        f.write(response.body)

# 设置每个域名的最大并发请求数
CONCURRENT_REQUESTS_PER_DOMAIN = 10
# 设置每个IP的最大并发请求数
CONCURRENT_REQUESTS_PER_IP = 10
# 设置每个请求之间的延迟时间，单位为秒
DOWNLOAD_DELAY = 0.5