专栏首页一个爱吃西瓜的程序员利用requests和正则表达式抓取猫眼电影top100

利用requests和正则表达式抓取猫眼电影top100

前言

刚学了正则表达式,赶紧用它来练练手,以防搞忘了。这次练习的目标比较简单,就是爬取猫眼电影top100,具体包括电影排名,片名,主演,上映时间,评分等信息。最后存储为txt文件。和爬取豆瓣电影电影top250十分类似。

分析目标网页

打开目标URL:http://maoyan.com/board/4?offset=0,

点击下一页,我们会发现URL的参数offset=0变成了offset=10

多翻几页,会发现offset是以10的倍数增长,从0增到90,每一页是十部电影信息,总共刚好100部。这样我们就可以通过构造参数offset来达到翻页抓取的效果。

构造正则表达式

点击右键-检查,查看网页源代码:

我们会发现每部电影的排名信息在<i>标签下属性值为board-index的标签中,我们可以写正则表达式来提取排名信息:

<dd>.*?board-index.*?>(.*?)</i>

我们会发现每部电影的电影名称在<p>标签下,属性值为name的标签中,我们可以这样书写正则表达式来提取电影名称信息:

.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>

由于电影名称在<p>标签下的<a>标签下中,这里为了以防匹配出错,最好还是将<a>标签中的一个属性值boarditem-click写在正则表达式中,以提高匹配的精确度。

然后主演在<p>标签下属性值为star`的标签中,接着写正则表达式来匹配主演信息:

.*?star.*?>(.*?)</p>

然后电影的上映时间在<p>标签下属性值为releasetime的标签中,正则表达式如下:

.*?releasetime.*?>(.*?)</p>

最后电影的评分在<i>标签下属性值分别为integerfraction的两个<i>标签中,正则表达式如下:

.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>

最后完整的正则表达式如下:

<dd>.*?board-index.*?>(.*?)</i>.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>

然后就可以写代码了。

完整代码:

import requests 
import re
import json
from requests.exceptions import RequestException
import time

def get_one_page(url):
"""单个网页的请求"""

    headers = {   
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'
    }   
    # 这里要添加一个请求头,否则会访问网页失败
    # 使用 RequestException可以捕捉所有的异常    
    try:  
        response = requests.get(url, headers = headers)    
    except RequestException:        
        return None
    return response.text
    time.sleep(2)  # 休眠2秒钟
        
def parse_one_page(html):
"""解析单个网页"""

    pattern = re.compile('<dd>.*?board-index.*?>(.*?)</i>.*?<p.*?name.*?boarditem-click.*?>(.*?)</a></p>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>', re.S)
    
    # 使用re.findall方法搜索整个文档,匹配所有能够被匹配的信息
    items = re.findall(pattern, html) 
       
    # 这里的items是一个列表,使用for循环来遍历
    for item in items: 
        # 构造一个迭代器,按字典格式输出       
        yield{            
            '排名': item[0],            
            '片名 ': item[1],            
            '主演': item[2].strip()[3:],            
            '上映时间': item[3].strip()[5:],            
            '评分': item[4]+ item[5] # 将评分信息连接起来
        }
           
def write_file(content):   
"""写入文件"""
    
    # 写入中文时,这里要指定参数encoding='utf-8', 否则会出现乱码
    with open('猫眼电影top100.txt', 'a', encoding='utf-8') as f:
        # 使用json.dumps方法将字典格式的content转换为字符串格式
        # 指定参数ensure_ascii=False,否则会出现中文乱码
        # 末尾加一个换行符,每写入一条信息就换行一次
        f.write(json.dumps(content, ensure_ascii=False) + '\n')
        f.close()

def main(offset):
"""主函数,参数为offset,动态构造URL"""

    url = 'http://maoyan.com/board/4?offset=' + str(offset)
    html = get_one_page(url)   # 调用请求函数
    for item in parse_one_page(html): # 调用解析函数
        # print(item)
        write_file(item)  # 调用写入文件函数

if __name__ == '__main__':    
    for i in range(10):
        main(i*10)  # 构造参数offset,达到翻页的效果。

具体细节在注释中有相关的说明,最后我们看一下爬取结果:

你也可以试一试,如果遇到什么问题,欢迎共同讨论~

每天学习一点点,每天进步一点点。

推荐阅读:

一文读懂正则表达式的基本用法

requests库的基本用法

本文分享自微信公众号 - 一个爱吃西瓜的程序员(youcoding)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-06-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Web前端基础【4】--HTTP标准

    HTTP协议(超文本传输协议),是用于从www服务器传输超文本到本地浏览器的传送协议。它可以使浏览器更加高效,减少网络传输。 一:HTTP请求过程 HTTP协议...

    爱吃西瓜的番茄酱
  • 每天学习一点儿算法--递归

    递归是很多算法都使用的一种编程方法。听说递归是一种十分优雅的问题解决办法,可是对于初涉递归的我,还没有形成这种独特的体会。 学习使用递归的关键在于:如何将问题分...

    爱吃西瓜的番茄酱
  • 1个知乎相当于20个简书

    最开始接触简书便被它的小而美所吸引,一个很简单很纯粹的写作阅读平台。写者在用心的写,读者在认真的读。后来简书逐渐变得大而全,各种标题党满天飞,五花八门的新闻资讯...

    爱吃西瓜的番茄酱
  • netcore进程内(InProcess)托管和进程外(out-of-Process)托管

    当一个 ASP.NET Core 应用程序执行的时候,.NET 运行时会去查找 Main()方法,因为它是这个应用程序的起点。

    跟着阿笨一起玩NET
  • Microsoft StreamInsight 构建物联网

    最近关于“物联网”(IoT) 的争论有很多,而且理由都很充分。 Ericsson 的 CEO Hans Vestberg 预测到 2020 年将有 500 亿台...

    张善友
  • xUtils3同步方法getSync(),postSync()使用

    现在Android前端开发,流行的开发框架是RxJava2+Retrofit2+OKHttp模式。当然既然大流如此,当然有它的过人之处,用过后我个人感觉确实牛逼...

    紫兮木溪
  • 优雅的解决Retrofit RxAndroid关联生命周期问题

    Retrofit结合RxAndroid应该是史上最好用的网络请求框架了,在项目中只需要一段代码就可以完成网络请求以及回调处理,来看看google官方示例:

    蜻蜓队长
  • 基于传感器的人类行为识别DL方法难在哪?这篇综述列了11项挑战

    除此之外,他们还总结了可用于评估不同挑战任务的公共数据集并讨论了尚待解决的问题,同时为未来的方向提供了一些见解。

    机器之心
  • 携程面试题

    冬天,西风凛冽,天空阴沉,行人都急匆匆的奔走,到了家,烤着炉子,外边洋洋洒洒的下起了雪。知道什么是“晚来天欲雪”,什么是“红泥小火炉”。

    范蠡
  • 【2020腾讯广告算法大赛】TI-ONE 平台 SDK 操作案例

    2020腾讯广告算法大赛报名链接:https://algo.qq.com/index.html?rfisource=TICP0416

    腾讯智能钛AI开发者

扫码关注云+社区

领取腾讯云代金券