利用requests和正则表达式抓取猫眼电影top100

前言

刚学了正则表达式,赶紧用它来练练手,以防搞忘了。这次练习的目标比较简单,就是爬取猫眼电影top100,具体包括电影排名,片名,主演,上映时间,评分等信息。最后存储为txt文件。和爬取豆瓣电影电影top250十分类似。

分析目标网页

打开目标URL:http://maoyan.com/board/4?offset=0,

点击下一页,我们会发现URL的参数offset=0变成了offset=10

多翻几页,会发现offset是以10的倍数增长,从0增到90,每一页是十部电影信息,总共刚好100部。这样我们就可以通过构造参数offset来达到翻页抓取的效果。

构造正则表达式

点击右键-检查,查看网页源代码:

我们会发现每部电影的排名信息在<i>标签下属性值为board-index的标签中,我们可以写正则表达式来提取排名信息:

<dd>.*?board-index.*?>(.*?)</i>

我们会发现每部电影的电影名称在<p>标签下,属性值为name的标签中,我们可以这样书写正则表达式来提取电影名称信息:

.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>

由于电影名称在<p>标签下的<a>标签下中,这里为了以防匹配出错,最好还是将<a>标签中的一个属性值boarditem-click写在正则表达式中,以提高匹配的精确度。

然后主演在<p>标签下属性值为star`的标签中,接着写正则表达式来匹配主演信息:

.*?star.*?>(.*?)</p>

然后电影的上映时间在<p>标签下属性值为releasetime的标签中,正则表达式如下:

.*?releasetime.*?>(.*?)</p>

最后电影的评分在<i>标签下属性值分别为integerfraction的两个<i>标签中,正则表达式如下:

.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>

最后完整的正则表达式如下:

<dd>.*?board-index.*?>(.*?)</i>.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>

然后就可以写代码了。

完整代码:

import requests 
import re
import json
from requests.exceptions import RequestException
import time

def get_one_page(url):
"""单个网页的请求"""

    headers = {   
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
    }   
    # 这里要添加一个请求头,否则会访问网页失败
    # 使用 RequestException可以捕捉所有的异常    
    try:  
        response = requests.get(url, headers = headers)    
    except RequestException:        
        return None
    return response.text
    time.sleep(2)  # 休眠2秒钟
        
def parse_one_page(html):
"""解析单个网页"""

    pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S)
    
    # 使用re.findall方法搜索整个文档,匹配所有能够被匹配的信息
    items = re.findall(pattern, html) 
       
    # 这里的items是一个列表,使用for循环来遍历
    for item in items: 
        # 构造一个迭代器,按字典格式输出       
        yield{            
            '排名': item[0],            
            '片名 ': item[1],            
            '主演': item[2].strip()[3:],            
            '上映时间': item[3].strip()[5:],            
            '评分': item[4]+ item[5] # 将评分信息连接起来
        }
           
def write_file(content):   
"""写入文件"""
    
    # 写入中文时,这里要指定参数encoding='utf-8', 否则会出现乱码
    with open('猫眼电影top100.txt', 'a', encoding='utf-8') as f:
        # 使用json.dumps方法将字典格式的content转换为字符串格式
        # 指定参数ensure_ascii=False,否则会出现中文乱码
        # 末尾加一个换行符,每写入一条信息就换行一次
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.close()

def main(offset):
"""主函数,参数为offset,动态构造URL"""

    url = 'http://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)   # 调用请求函数
    for item in parse_one_page(html): # 调用解析函数
        # print(item)
        write_file(item)  # 调用写入文件函数

if __name__ == '__main__':    
    for i in range(10):
        main(i*10)  # 构造参数offset,达到翻页的效果。

具体细节在注释中有相关的说明,最后我们看一下爬取结果:

你也可以试一试,如果遇到什么问题,欢迎共同讨论~

每天学习一点点,每天进步一点点。

推荐阅读:

一文读懂正则表达式的基本用法

requests库的基本用法

原文发布于微信公众号 - 一个爱吃西瓜的程序员(youcoding)

原文发表时间:2018-06-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏游戏开发那些事

【Cocos2d-x游戏开发】Cocos2d-x中的数据存储技术

  数据存储和网络功能可以说是一款游戏中必不可少的功能,如果一款游戏不能保存进度那么它的可玩性必然大打折扣(试想一下,玩家辛辛苦苦玩了一整天的游戏,结果退出时告...

10010
来自专栏CDA数据分析师

20个小招数教你如果快速完成Python 性能优化升级

使用python时,你是不是需要性能优化?今天C君给大家带来python性能优化的20条招数,建议收藏~

12220
来自专栏Python自动化测试

selenium框架浅谈

我们知道,selenium是一个很优秀的web框架,提供了很丰富的API,使用它结合进行做web的自动化测试真的很完美,但是在实际的情况中,理想与现实...

12930
来自专栏量化投资与机器学习

【干货】Matlab的内存问题讨论

谢谢大家支持,可以让有兴趣的人关注这个公众号。让知识传播的更加富有活力,谢谢各位读者。 很多人问我为什么每次的头像是奥黛丽赫本,我只能说她是我女神,每天看看女神...

22280
来自专栏PPV课数据科学社区

工具 | 如何在Python中调用R语言包?

R语言是非常强大的做统计分析和建模方面的开源软件,它有非常丰富的统计软件包,做统计可以说只有你想不到的,没有R办不到的。Python又是当下最流行的编程软件之一...

1.3K80
来自专栏程序员的诗和远方

异步多图加载这件小事儿(Promise与async)

日常开发过程中,时不时会遇到要同时预加载几张图片,并且等都加载完再干活的情况,结合 Promise 和 async/await 代码会优雅很多,但也容易遇到坑,...

36880
来自专栏高性能服务器开发

服务器开发通信协议设计介绍

由于我们的即时通讯软件的用户存在用户状态问题,即用户登录成功以后可以在他的好友列表中看到哪些好友在线,所以客户端和服务器需要保持长连接状态。另外即时通讯软件一般...

23420
来自专栏企鹅号快讯

我们编写 React 组件的最佳实践

刚接触 的时候,在一个又一个的教程上面看到很多种编写组件的方法,尽管那时候 框架已经相当成熟,但是并没有一个固定的规则去规范我们去写代码。 在过去的一年里,...

18170
来自专栏编程

正则表达式游戏的答案

两天过去了,我们才送出了四个番茄钟(其中一个还是作为礼物送给了鲁鸿驹先生,感谢鲁鸿驹的现场莅临指导 ,鲁总是VIM的fans,多年不编程的他还记得是删除一行的指...

23580
来自专栏GopherCoder

『Go 语言学习专栏』-- 第九期

13510

扫码关注云+社区

领取腾讯云代金券