Python爬取多个网页

小颜同学

发布于 2023-08-21 15:53:42

2510

发布于 2023-08-21 15:53:42

文章被收录于专栏：原创笔记

最近学到了一个新鲜玩意，Python网页爬取数据脚本，今天我们就来试一试，python爬取数据到底有多方便。

下面直接放源代码：

from selenium import webdriver
from urllib import request
import re
import os
import datetime

print(datetime.datetime.now())
# 文档路径
filedir = "d:\\tsldrb_pic\\"
if not os.path.exists(filedir):
    os.makedirs(filedir)
f = open("d:\\urls.txt", "r", encoding='utf-8')
urls = f.readlines()
for url in urls:
    print(url.replace('\n', ''))
    driver = webdriver.Chrome()
    driver.maximize_window()
    driver.get(url)
    data_content = request.urlopen(url.replace('\n', ''))
    content_text = data_content.read().decode()
    result_title_time = re.search('(?<=content/).*(?=/content)', url.replace('\n', ''))  # 匹配content/和/content间时间
    result_title = re.search('(?<=">).*(?=</h2)', content_text)  # 匹配">和</h2间的标题
    result_title_time.group().replace('/', '')
    pic_name = result_title_time.group().replace('/', '') + result_title.group().replace(' ', '') + '.png'
    driver.get_screenshot_as_file(filedir + pic_name)
    driver.close()
print(datetime.datetime.now())

使用教程：

打开此电脑，随便到哪个目录新创一个txt文件，例如我这里使用的是E盘：