前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >170行代码爬取《白蛇:缘起》短评数据

170行代码爬取《白蛇:缘起》短评数据

作者头像
猴哥yuri
发布2019-03-04 16:26:56
7070
发布2019-03-04 16:26:56
举报
文章被收录于专栏:极客猴

题图:《白蛇:缘起》海报

阅读文本大概需要 11 分钟。

在我的童年记忆中,电视台播放的动画片大多都是从日本、美国引进的。很多动画片算是银幕上的经典,例如:《变形金刚》系列、《猛兽侠》、《蜘蛛侠》、《七龙珠》、《名侦探柯南》、《灌篮高手》、《数码宝贝》等。

但是国产的精品动画篇确认寥寥无几,可能是当时我国动漫产业还处在起步阶段。一晃几十年过去了,现在的国产动漫算是强势崛起,这也涌现出《斗破苍穹》、《秦时明月》、《天行九歌》等优秀的动画片。

2019年1月11日,一部国产动画电影《白蛇:缘起》在全国热映,一经上映便是好评如潮。这部电影凭借惊艳的花屏,出色的配音取得猫眼 9.4 分、豆瓣 8.0 分的高分成绩。

既然是难得一见的精品,那么我去猫眼上爬爬网友的短评,看看网友们的观点。

01

分析页面

估计很多人经常光顾猫眼电影网,猫眼的反爬机制越来越严格,手段也越来越多。如果选择“刚正面”,爬取 PC 端的页面,可能总体收益不高。况且,PC 端的页面只有精彩短评,没有全部的网页评论数据。

因此,我选择转移战场,从手机页面入手,看看是否有收获。将浏览器选择以手机模式浏览器,结果发现手机网页有全部的短评数据。点击“查看全部讨论”,继续抓包分析。

随着鼠标滚动,自己浏览过几页短评数据之后,最终找到规律。

页面请求的地址是:

代码语言:javascript
复制
http://m.maoyan.com/review/v2/comments.json?

后面携带一些参数:

代码语言:javascript
复制
movieId=1235560&  #电影id
userId=-1& #默认用户id
offset=0& #分片页数
limit=15& #每个分片显示具体数值
ts=0& #当前时间
type=3

然后 offset 的值以 15 间隔递增。

我格式化请求结果,确认能获取到短评内容、点赞数等。但是这个无法满足我的需求,我是想获取城市信息,后面想绘制地理热力图。而目前这个接口没有城市信息。

因此,我选择逛逛各大搜索引擎,试下碰碰运气。最后幸运女神帮了我一把,我找到别人已经挖掘到的猫眼短评接口。

代码语言:javascript
复制
http://m.maoyan.com/mmdb/comments/movie/1235560.json?_v_=yes&offset=1

其中 1235560 表示电影的 id,offset 代表页数。

02

爬虫制作

因为短评数据量可能会比较多,所以我选择用数据库来存储数据。后面方便进行数据导出、数据去重等。

自己从 json 数据结果中提取想要的数据,然后设计数据表并创建。

代码语言:javascript
复制
def create_database(self):
    create_table_sql = (
        "CREATE TABLE IF NOT EXISTS {} ("
        "`id` VARCHAR(12) NOT NULL,"
        "`nickName` VARCHAR(30),"
        "`userId` VARCHAR(12),"
        "`userLevel` INT(3),"
        "`cityName` VARCHAR(10),"
        "`gender` tinyint(1),"
        "`score` FLOAT(2,1),"
        "`startTime` VARCHAR(30),"
        "`filmView` BOOLEAN,"
        "`supportComment` BOOLEAN,"
        "`supportLike` BOOLEAN,"
        "`sureViewed` INT(2),"
        "`avatarurl` VARCHAR(200),"
        "`content` TEXT"
        ") ENGINE=InnoDB DEFAULT CHARSET=utf8mb4".format(self.__table)
    )

    try:
        self.cursor.execute(create_table_sql)
        self.conn.commit()
    except Exception as e:
        self.close_connection()
        print(e)

然后构造 Session 会话、请求头 headers 和 url 地址。

代码语言:javascript
复制
""" 构造会话 Session 抓取短评 """
session = requests.Session()
# 电影短评地址
movie_url = 'http://m.maoyan.com/mmdb/comments/movie/1235560.json?_v_=yes&offset={}'

headers = {
    'User-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Mobile Safari/537.36',
    'Accept-Encoding': 'gzip, deflate',
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Host': 'm.maoyan.com',
    'Accept-Language': 'zh-CN,zh;q=0.8',
    'Cache-Control': 'max-age=0',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1',
}

接着请求 url 地址并解析返回的 Json 数据。

代码语言:javascript
复制
offset = 1
while 1:
    print('============抓取第', offset, '页短评============')
    print('============>>>', movie_url.format(offset))
    response = session.get(movie_url.format(offset), headers=headers)
    if response.status_code == 200:
        """ 解析短评 """
        data_list = []
        data = {}
        for comment in json.loads(response.text)['cmts']:
            data['id'] = comment.get('id')
            data['nickName'] = comment.get('nickName')
            data['userId'] = comment.get('userId')
            data['userLevel'] = comment.get('userLevel')
            data['cityName'] = comment.get('cityName')
            data['gender'] = comment.get('gender')
            data['score'] = comment.get('score')
            data['startTime'] = comment.get('startTime')
            data['filmView'] = comment.get('filmView')
            data['supportComment'] = comment.get('supportComment')
            data['supportLike'] = comment.get('supportLike')
            data['sureViewed'] = comment.get('sureViewed')
            data['avatarurl'] = comment.get('avatarurl')
            data['content'] = comment.get('content')
            print(data)
            data_list.append(data)
            data = {}
        print('============解析到', len(data_list), '条短评数据============')
        self.insert_comments(data_list)
    else:
        # 抓取失败就先暂停抓取, 标记抓取页数, 过段时间再抓取
        print('>=== 抓取第 ', offset, ' 失败, 错误码为 ' + response.status_code)
        break
    offset += 1
    time.sleep(random.randint(10, 20))

完成解析数据工作之后,最后一步工作就是将数据插入到数据库中。

代码语言:javascript
复制
def insert_comments(self, datalist):
    """ 往数据库表中插入数据 """
    insert_sql = (
        "insert into "
        "{} (id, nickName, userId, userLevel, cityName, gender, score, "
        "startTime, filmView, supportComment, supportLike, sureViewed, avatarurl, content)"
        "values(%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)".format(self.__table))

    try:
        templist = []
        for comment in datalist:
            if comment.get('gender') is None:
                comment['gender'] = -1
            data = (comment.get('id'),
                    comment.get('nickName'),
                    comment.get('userId'),
                    comment.get('userLevel'),
                    comment.get('cityName'),
                    comment.get('gender'),
                    comment.get('score'),
                    comment.get('startTime'),
                    comment.get('filmView'),
                    comment.get('supportComment'),
                    comment.get('supportLike'),
                    comment.get('sureViewed'),
                    comment.get('avatarurl'),
                    comment.get('content'))
            templist.append(data)
        self.cursor.executemany(insert_sql, templist)
        self.conn.commit()
    except Exception as e:
        print('===== insert exception -->>> %s', e)

我因控制爬虫速率,暂时还没有完成爬取工作。至于爬取结果,详情见下篇文章关于电影短评的数据分析。

如果你觉得文章还不错,请大家点『好看』分享下。你的肯定是我最大的鼓励和支持。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-01-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 极客猴 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
数据库
云数据库为企业提供了完善的关系型数据库、非关系型数据库、分析型数据库和数据库生态工具。您可以通过产品选择和组合搭建,轻松实现高可靠、高可用性、高性能等数据库需求。云数据库服务也可大幅减少您的运维工作量,更专注于业务发展,让企业一站式享受数据上云及分布式架构的技术红利!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档