Python | 50行代码爬取猫眼 top100

JavaFish

发布于 2019-10-17 17:13:34

6800

发布于 2019-10-17 17:13:34

前言

好久不见，已经有一个月没更新了。主要是因为最近工作特别忙，上班要撸 java，撸完 java，又要撸前端。真的是忙到 x 生活都没时间（说的好像不忙就有一样），手动滑稽。话不多说了，因为工作的原因，所以我的 Python 学的特别慢，学了许久，终于接触到爬虫了。那今天给你们带来的就是一个简单的静态网页的爬取：requests + 正则爬取猫眼 top100

环境

wi10 + python3.6

思路

这个简单的爬虫有两个主要的思路。 1、打开猫眼 top100 网址：http://maoyan.com/board/4，确定要爬取得内容。那这里打开猫眼 top100 之后是这样的：

上图，我以霸王别姬为例讲解，我们要爬取的目标内容有电影排名，电影海报链接，电影名称，主演，上映时间以及评分等 6 个主要内容。

2、审查元素，思考如何使用正则匹配你需要的内容

可以看到上图，分别标出了我们要爬取得内容。其中每一个电影使用了一个 dd 标签包裹，我们要爬取的内容就在这个标签下，如排名被包裹在 i 标签里面，海报链接被包裹在 a 标签内，电影名称被包裹在篇 p 标签下的 a 标签内，主演、上映时间以及评分都被包裹在 p 标签内，其中评分被分开成两个 a 标签装载。

代码

获取 html

如何用代码打开指定的网页并获取其 html 代码？这里用到了 Python 的网络请求库 requests。还没安装的打开你的 cmd 窗口，执行命令：pip install requests（仅限 windows 平台）之后会收到安装成功的提示。那安装完之后就可以开始写代码了。网络请求代码如下：

import requests
from requests.exceptions import RequestException

def get_one_page(url):
    # headers, 伪装成浏览器
    headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                    'AppleWebKit/537.36 (KHTML, like Gecko) '
                    'Chrome/68.0.3440.106 Safari/537.36'
    }

    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def main():
    url = "http://maoyan.com/board/4"
    html = get_one_page(url)
    print(html)

if __name__ == '__main__':
    main()

这段代码也没啥好讲的，首先就是导入 requests 库，使用它的 get 方法传入 url 和 header（特别重要）返回的是字符串类型的 html 代码以及请求状态码。判断返回的状态码是否等于 200 ，等于 200 则返回 text 即网页html代码。返回的代码和我们审查元素时看到的是一样的（仅限此网页），这里不多赘述。

解析 html

def parse_one_page(html):
    # 正则匹配规则
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>'
                        + '.*?data-src="(.*?)"'
                        + '.*?name"><a.*?>(.*?)</a>'
                        + '.*?star">(.*?)</p>'
                        + '.*?releasetime">(.*?)</p>'
                        + '.*?integer">(.*?)</i>'
                        + '.*?fraction">(.*?)</i>.*?</dd>', re.S)
    # 列表形式返回匹配项
    items = re.findall(pattern, html)
    print(items)

上述代码出现了很多 .*？这个符号的意思就是贪婪模式，原则是匹配尽可能多的字符，如果看不明白上面那个正则匹配的话，建议去菜鸟教程学习一下正则表达式。运行上述代码解析出来的 html 就是这样的：列表形式返回匹配项

[
('1', 'http://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c', '霸王别姬', '\n                主演：张国荣,张丰毅,巩俐\n        ', '上映时间：1993-01-01(中国香港)', '9.', '6'),
('2', 'http://p0.meituan.net/movie/54617769d96807e4d81804284ffe2a27239007.jpg@160w_220h_1e_1c', '罗马假日', '\n                主演：格利高里·派克,奥黛丽·赫本,埃迪·艾伯特\n        ', '上映时间：1953-09-02(美国)', '9.', '1'), 
('3', 'http://p0.meituan.net/movie/283292171619cdfd5b240c8fd093f1eb255670.jpg@160w_220h_1e_1c', '肖申克的救赎', '\n                主演：蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿\n        ', '上映时间：1994-10-14(美国)', '9.', '5'), 
('4', 'http://p0.meituan.net/movie/e55ec5d18ccc83ba7db68caae54f165f95924.jpg@160w_220h_1e_1c', '这个杀手不太冷', '\n                主演：让·雷诺,加里·奥德曼,娜塔莉·波特曼\n        ', '上映时间：1994-09-14(法国)', '9.', '5'), 
('5', 'http://p1.meituan.net/movie/f5a924f362f050881f2b8f82e852747c118515.jpg@160w_220h_1e_1c', '教父', '\n                主演：马龙·白兰度,阿尔·帕西诺,詹姆斯·肯恩\n        ', '上映时间：1972-03-24(美国)', '9.', '3'),
('6', 'http://p1.meituan.net/movie/0699ac97c82cf01638aa5023562d6134351277.jpg@160w_220h_1e_1c', '泰坦尼克号', '\n                主演：莱昂纳多·迪卡普里奥,凯特·温丝莱特,比利·赞恩\n        ', '上映时间：1998-04-03', '9.', '5'), 
('7', 'http://p0.meituan.net/movie/b03e9c52c585635d2cb6a3f7c08a8a50112441.jpg@160w_220h_1e_1c', '龙猫', '\n                主演：日高法子,坂本千夏,糸井重里\n        ', '上映时间：1988-04-16(日本)', '9.', '2'), 
('8', 'http://p0.meituan.net/movie/da64660f82b98cdc1b8a3804e69609e041108.jpg@160w_220h_1e_1c', '唐伯虎点秋香', '\n                主演：周星驰,巩俐,郑佩佩\n        ', '上映时间：1993-07-01(中国香港)', '9.', '2'), 
('9', 'http://p0.meituan.net/movie/b076ce63e9860ecf1ee9839badee5228329384.jpg@160w_220h_1e_1c', '千与千寻', '\n                主演：柊瑠美,入野自由,夏木真理\n        ', '上映时间：2001-07-20(日本)', '9.', '3'), 
('10', 'http://p0.meituan.net/movie/46c29a8b8d8424bdda7715e6fd779c66235684.jpg@160w_220h_1e_1c', '魂断蓝桥', '\n                主演：费雯·丽,罗伯特·泰勒,露塞尔·沃特森\n        ', '上映时间：1940-05-17(美国)', '9.', '2')
]

格式化匹配项

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>'
                        + '.*?data-src="(.*?)"'
                        + '.*?name"><a.*?>(.*?)</a>'
                        + '.*?star">(.*?)</p>'
                        + '.*?releasetime">(.*?)</p>'
                        + '.*?integer">(.*?)</i>'
                        + '.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            '排名': item[0],
            '海报': item[1],
            '电影': item[2],
            '主演': item[3].strip()[3:],# 删除前面三个字符
            '时间': item[4].strip()[5:],# 删除前面五个字符
            '评分': item[5]+item[6]
        }

如上 yield 的作用就是生成一个迭代器。

写入文件

def write_to_file(content):
    with open('top100.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.flush()
    f.close()

这里用到了 json 库。首先就是指定文件（默认存储在当前路径），之后就是开启一个文件流并指定编码格式，把 content 写入文件中。

实现翻页

上述代码只是爬取首页的 10 部电影而已，要爬取剩下的 90 部电影，我们需要在浏览器点击下页时，观察地址栏的变化。这里的话，点击下页其实就是一个 offset 的改变。原来是地址是：http://maoyan.com/board/4

点击第二页是：

http://maoyan.com/board/4?offset=1 后面页数以此类推。思考后可得出下面代码：

def main(offset):
    url = "http://maoyan.com/board/4?offset=" + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    for i in range(10):
        main(i*10)

这时爬取得就是猫眼 TOP100 的电影，并保存在 top100.txt 文件中：

至此，requests + 正则爬取猫眼电影 Top100 项目已完成。一个用了 50 行代码左右。完整代码如下：

import json
import requests
from requests.exceptions import RequestException
import re

def get_one_page(url):
    # headers, 伪装成浏览器
    headers = {
      'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                    'AppleWebKit/537.36 (KHTML, like Gecko) '
                    'Chrome/68.0.3440.106 Safari/537.36'
    }

    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>'
                        + '.*?data-src="(.*?)"'
                        + '.*?name"><a.*?>(.*?)</a>'
                        + '.*?star">(.*?)</p>'
                        + '.*?releasetime">(.*?)</p>'
                        + '.*?integer">(.*?)</i>'
                        + '.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items = re.findall(pattern, html)
    for item in items:
        yield {
            '排名': item[0],
            '海报': item[1],
            '电影': item[2],
            '主演': item[3].strip()[3:],# 删除前面三个字符
            '时间': item[4].strip()[5:],# 删除前面五个字符
            '评分': item[5]+item[6]
        }

def write_to_file(content):
    with open('top100.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.flush()
    f.close()

def main(offset):
    url = "http://maoyan.com/board/4?offset=" + str(offset)
    html = get_one_page(url)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)

if __name__ == '__main__':
    for i in range(10):
        main(i*10)

当然，这只是爬取静态网页而已，代码非常的简单，但是也建议初学者自己动手实践一下，虽然很简单，但千万不能有所见即所得的想法。刚开始我也觉得很简单。但是有时你可能会遇到意想不到的坑，比如我在写这篇代码时，就忽略了 yield 的用法，踩了一个很大的坑，用了我一小时才填完。但是也没关系，所谓大神也是踩坑--填坑不断循环这个过程锻炼而来的。

本文参与腾讯云自媒体分享计划，分享自微信公众号。

原始发表：2018-08-26，如有侵权请联系 cloudcommunity@tencent.com 删除

html