python网络爬虫获取图片失败_Python爬虫之网页图片抓取的方法

import osimport requestsfrom bs4 import BeautifulSoupfrom urllib.parse import urljoin# 网页 URL（请替换）url = 'https://example.com'# 本地保存文件夹folder = 'images'os.makedirs(folder, exist_ok=True)# 请求头headers = {    'User-Agent': 'Mozilla/5.0',    'Referer': url  # 有些网站要求加 Referer}# 请求页面res = requests.get(url, headers=headers, timeout=10)soup = BeautifulSoup(res.text, 'html.parser')# 获取所有 img 标签img_tags = soup.find_all('img')# 图片下载for i, img in enumerate(img_tags):    src = img.get('src') or img.get('data-src') or img.get('srcset')    if not src:        continue    # 拼接完整 URL    img_url = urljoin(url, src.split()[0])  # 去除 srcset 中多个地址    try:        # 请求图片内容        img_res = requests.get(img_url, headers=headers, timeout=10)        img_res.raise_for_status()        # 获取文件扩展名        ext = os.path.splitext(img_url)[1]        if not ext or len(ext) > 5:            ext = '.jpg'  # 默认扩展名        # 保存文件        file_path = os.path.join(folder, f'image_{i}{ext}')        with open(file_path, 'wb') as f:            f.write(img_res.content)        print(f'[✓] 下载成功：{img_url}')    except Exception as e:        print(f'[✗] 下载失败：{img_url}，原因：{e}')php1.16 KB© 菜鸟-创作你的创作