抓取猫眼电影排行

import requests
import re    # 正则表达式的库
import json
import random
import os    # 操作系统文件操作的库

'''
功能：爬取单个网页信息的文本内容
入参：待爬取网页的网址
'''
def get_one_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'    # 假装这是用谷歌浏览器访问的，而不是爬虫爬取。
    }
    
    # 如果爬取成功，则返回爬取的网页文本信息；负责返回None。
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    return None

'''
功能：爬取单个网页信息的二进制内容（图片、视频等）
入参：待爬取网页的网址
说明：response.content表示爬取的二进制内容；response.text表示爬取的文本内容。只是和get_one_page的返回值不一样，两个接口是可以合并的。
'''
def get_one_image(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
    }

    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.content
    return None

'''
功能：解析网页中的电影排名、图片、标题、演员、时间、评分等信息
入参：爬取的网页内容
'''
def parse_one_page(html):
    # 根据网页格式，结合待爬取的内容，得到的正则表达式
    pattern = re.compile('''<dd>.*?board-index.*?>(.*?)</i>.*?title="(.*?)".*?<img data-src="(.*?)".*?<p class="star">(.*?)</p>.*?<p class="releasetime">(.*?)<.*?class="integer">(.*?)<.*?"fraction">(.*?)<''', re.S)
    items = re.findall(pattern, html)
    # 查找到的信息存储在list里，将其改装成字典形式的
    for item in items:
        yield{
            'index':item[0],
            'title':item[1],
            'image':item[2],
            'actor':item[3].strip(),
            'time':item[4],
            'score':item[5] + item[6]
        }

def write_to_file(content):
    # 将爬取到的电影信息保存到文件里；将其中的图片下载下来，图片名取随机数字。
    with open('result.json', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + ',\n')
    html = get_one_image(content['image'])
    fdir = './image'
    if not os.path.exists(fdir):
        os.mkdir(fdir)
    os.chdir(fdir)
    num = random.random()
    with open(str(num)+'.jpg', 'wb') as f:
        f.write(html)
    os.chdir('..')

def main(offset):
    # 根据偏移量，拼接每一个网页的网页地址，用于爬取数据。
    url = 'https://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        write_to_file(item)

if __name__ == '__main__':
    # 循环获取网址偏移量。
    for i in range(10):
        main(offset = i*10 )