随机间隔在 Python 爬虫中的应用实践

import requests
import random
import time

def random_interval_crawler(url_list, min_interval=1, max_interval=5):
    """
    带随机间隔的基础爬虫函数
    :param url_list: 待请求的URL列表
    :param min_interval: 最小等待间隔（秒）
    :param max_interval: 最大等待间隔（秒）
    :return: 采集到的结果列表
    """
    result_list = []
    headers = {
        # 模拟浏览器请求头，增强反反爬能力
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
    }
    
    for index, url in enumerate(url_list, 1):
        try:
            # 1. 生成随机间隔时间
            wait_time = random.uniform(min_interval, max_interval)
            print(f"===== 准备请求第 {index} 个URL =====")
            print(f"随机等待时间：{wait_time:.2f} 秒")
            
            # 2. 执行随机间隔等待
            time.sleep(wait_time)
            
            # 3. 发送HTTP GET请求
            response = requests.get(url, headers=headers, timeout=10)
            response.raise_for_status()  # 抛出HTTP请求异常（如404、500）
            response.encoding = response.apparent_encoding  # 自动识别编码，防止乱码
            
            # 4. 存储请求结果
            result = {
                "url": url,
                "status_code": response.status_code,
                "response_content": response.text[:200]  # 只截取前200个字符，避免输出过长
            }
            result_list.append(result)
            
            print(f"请求成功，状态码：{response.status_code}")
            print(f"响应内容预览：{response.text[:200]}")
            print("=" * 50 + "\n")
            
        except requests.exceptions.RequestException as e:
            print(f"请求第 {index} 个URL失败：{str(e)}")
            continue
    
    return result_list

if __name__ == "__main__":
    # 构造模拟URL列表（5个测试URL）
    target_urls = [
        "http://httpbin.org/get",
        "http://httpbin.org/get?page=2",
        "http://httpbin.org/get?page=3",
        "http://httpbin.org/get?page=4",
        "http://httpbin.org/get?page=5"
    ]
    
    # 调用爬虫函数，设置随机间隔为1-5秒
    crawl_results = random_interval_crawler(
        url_list=target_urls,
        min_interval=1,
        max_interval=5
    )
    
    # 输出最终采集结果统计
    print(f"\n===== 爬虫任务完成 =====")
    print(f"成功采集URL数量：{len(crawl_results)}")
    print(f"总请求URL数量：{len(target_urls)}")

# 1. 开启随机化下载延迟（默认True，可显式配置）
RANDOMIZE_DOWNLOAD_DELAY = True

# 2. 设置基础下载延迟（秒）
# 当 RANDOMIZE_DOWNLOAD_DELAY = True 时，实际下载延迟为：
# [0.5 * DOWNLOAD_DELAY, 1.5 * DOWNLOAD_DELAY] 区间内的随机值
DOWNLOAD_DELAY = 2

# 3. 配置User-Agent（模拟浏览器）
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"

# 4. 配置并发请求数（根据目标网站承受能力调整，默认16）
CONCURRENT_REQUESTS = 8

# 5. 禁用Cookies（避免携带爬虫标识，可选）
COOKIES_ENABLED = False

# 6. 开启请求日志（便于查看随机间隔效果）
LOG_LEVEL = "INFO"

import scrapy

class HttpbinSpider(scrapy.Spider):
    # 爬虫名称（必须唯一）
    name = "httpbin_spider"
    
    # 允许爬取的域名（防止爬取无关网站）
    allowed_domains = ["httpbin.org"]
    
    # 起始URL列表（模拟多页数据采集）
    start_urls = [
        "http://httpbin.org/get",
        "http://httpbin.org/get?page=2",
        "http://httpbin.org/get?page=3",
        "http://httpbin.org/get?page=4",
        "http://httpbin.org/get?page=5"
    ]

    def parse(self, response):
        """
        数据解析函数，处理响应结果
        :param response: Scrapy的响应对象
        :return: 生成器，返回解析后的数据
        """
        # 解析响应内容，提取核心信息
        yield {
            "url": response.url,
            "status_code": response.status,
            "response_content": response.text[:200]  # 截取前200个字符预览
        }
        
        # 如需实现翻页爬取，可在此处构造下一页URL并yield Request对象
        # 示例：
        # next_page = 6
        # next_url = f"http://httpbin.org/get?page={next_page}"
        # yield scrapy.Request(next_url, callback=self.parse)

scrapy crawl httpbin_spider -o crawl_result.json