使用随机时间间隔提升爬虫隐蔽性

import requests
import random
import time
from bs4 import BeautifulSoup
from requests.exceptions import RequestException

# 配置请求头，模拟浏览器访问（基础隐蔽性优化）
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}

# 定义随机休眠函数：基础版，固定区间随机
def random_sleep(base_min=1, base_max=3):
    """
    生成base_min到base_max之间的随机休眠时间
    :param base_min: 最小休眠时间（秒）
    :param base_max: 最大休眠时间（秒）
    """
    sleep_time = random.uniform(base_min, base_max)
    print(f"随机休眠{sleep_time:.2f}秒，模拟人类访问间隔...")
    time.sleep(sleep_time)

# 解析页面，提取文章标题
def parse_page(url):
    try:
        # 发送请求前先休眠，避免首次请求无间隔
        random_sleep()
        response = requests.get(url, headers=HEADERS, timeout=10)
        response.raise_for_status()  # 抛出HTTP请求异常（如404、503）
        response.encoding = response.apparent_encoding  # 自动识别编码，避免乱码
        soup = BeautifulSoup(response.text, "html.parser")
        # 提取文章标题（根据目标网站的HTML结构调整选择器）
        titles = soup.select(".article-list h3 a")
        for title in titles:
            print(f"文章标题：{title.get_text().strip()}")
        return True
    except RequestException as e:
        print(f"请求/解析页面失败：{e}")
        return False

# 主爬虫函数
def main(spider_url):
    print(f"开始爬取目标网站：{spider_url}")
    parse_page(spider_url)
    print("爬取完成！")

if __name__ == "__main__":
    # 测试目标URL（静态博客示例，可替换为其他无反爬静态页面）
    TARGET_URL = "https://example-blog.com/article-list"
    main(TARGET_URL)

开始爬取目标网站：https://example-blog.com/article-list
随机休眠1.85秒，模拟人类访问间隔...
文章标题：Python爬虫入门：requests库的使用
文章标题：使用BeautifulSoup解析HTML页面
文章标题：爬虫反爬对抗：随机时间间隔设计
爬取完成！

import requests
import random
import time
from bs4 import BeautifulSoup
from requests.exceptions import RequestException

# 全局配置，可根据目标网站反爬强度调整
HEADERS = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Accept-Language": "zh-CN,zh;q=0.9",  # 增加请求头字段，更贴近浏览器
    "Referer": "https://www.baidu.com/"  # 模拟从百度跳转，提升隐蔽性
}
# 基础随机间隔配置
NORMAL_MIN = 2  # 常规最小间隔
NORMAL_MAX = 4  # 常规最大间隔
LONG_MIN = 8    # 长间隔最小
LONG_MAX = 10   # 长间隔最大
LONG_TRIGGER = 10  # 每N次请求触发一次长间隔
# 自适应配置
ADAPTIVE_MIN = 5  # 触发429后最小间隔
ADAPTIVE_MAX = 8  # 触发429后最大间隔
ADAPTIVE_TIMES = 5  # 自适应间隔持续次数

# 全局变量，记录请求次数和自适应状态
request_count = 0
adaptive_flag = False
adaptive_remaining = 0

# 进阶版随机休眠函数：分层随机+自适应
def advanced_random_sleep():
    global request_count, adaptive_flag, adaptive_remaining
    request_count += 1
    sleep_time = 0

    # 处理自适应状态：若触发429，使用自适应间隔
    if adaptive_flag:
        sleep_time = random.uniform(ADAPTIVE_MIN, ADAPTIVE_MAX)
        adaptive_remaining -= 1
        # 自适应次数用完，恢复正常状态
        if adaptive_remaining <= 0:
            adaptive_flag = False
            print("自适应间隔结束，恢复常规随机间隔...")
    else:
        # 分层随机：每LONG_TRIGGER次请求，触发一次长间隔
        if request_count % LONG_TRIGGER == 0:
            sleep_time = random.uniform(LONG_MIN, LONG_MAX)
            print(f"触发人类行为模拟：长间隔休眠...")
        else:
            sleep_time = random.uniform(NORMAL_MIN, NORMAL_MAX)

    print(f"第{request_count}次请求，随机休眠{sleep_time:.2f}秒...")
    time.sleep(sleep_time)

# 解析单页数据
def parse_page(url):
    global adaptive_flag, adaptive_remaining
    try:
        advanced_random_sleep()
        response = requests.get(url, headers=HEADERS, timeout=10)
        # 捕获429状态码，触发自适应间隔
        if response.status_code == 429:
            adaptive_flag = True
            adaptive_remaining = ADAPTIVE_TIMES
            print(f"警告：触发429请求限制，开启自适应间隔，持续{ADAPTIVE_TIMES}次请求...")
            return False
        response.raise_for_status()
        response.encoding = response.apparent_encoding
        soup = BeautifulSoup(response.text, "html.parser")
        titles = soup.select(".article-list h3 a")
        for title in titles:
            print(f"【第{request_count}次请求】文章标题：{title.get_text().strip()}")
        return True
    except RequestException as e:
        print(f"第{request_count}次请求失败：{e}")
        return False

# 多页爬取主函数
def multi_page_spider(base_url, page_num):
    """
    多页爬取
    :param base_url: 目标网站基础URL
    :param page_num: 要爬取的页数
    """
    print(f"开始多页爬取，共{page_num}页...")
    for page in range(1, page_num + 1):
        # 构造多页URL（适用于?page=1的分页模式，可根据目标网站调整）
        target_url = f"{base_url}?page={page}"
        print(f"\n开始爬取第{page}页：{target_url}")
        parse_page(target_url)
    print(f"\n多页爬取完成，累计请求{request_count}次！")

if __name__ == "__main__":
    # 测试多页爬取，替换为实际目标网站的基础URL
    BASE_TARGET_URL = "https://example-blog.com/article-list"
    multi_page_spider(BASE_TARGET_URL, page_num=5)

开始多页爬取，共5页...

开始爬取第1页：https://example-blog.com/article-list?page=1
第1次请求，随机休眠2.68秒...
【第1次请求】文章标题：Python爬虫入门：requests库的使用
【第1次请求】文章标题：使用BeautifulSoup解析HTML页面

开始爬取第2页：https://example-blog.com/article-list?page=2
第2次请求，随机休眠3.12秒...
警告：触发429请求限制，开启自适应间隔，持续5次请求...

开始爬取第3页：https://example-blog.com/article-list?page=3
第3次请求，随机休眠6.25秒...

开始爬取第4页：https://example-blog.com/article-list?page=4
第4次请求，随机休眠5.89秒...

开始爬取第5页：https://example-blog.com/article-list?page=5
第5次请求，随机休眠6.53秒...
自适应间隔结束，恢复常规随机间隔...

多页爬取完成，累计请求5次！