豆瓣已玩烂，爬点洋气的：用IMDB数据为你“订制”经典好片

DT数据侠

发布于 2019-04-25 17:19:02

1.4K0

发布于 2019-04-25 17:19:02

文章被收录于专栏：DT数据侠DT数据侠

本文转载自：数据森麟（ID：shujusenlin）

作者：翻滚吧羊宝宝

转战Python半年，接触爬虫2个月，期间读了10本相关书籍，完成此作，算是对过去学习、实践的一次回顾。也希望与更多的Python，爬虫爱好者小伙伴们一起交流、成长

此题目，一来豆瓣作为爬虫入门，各种大牛的深入分析已趋于完美；另一方面随着中国电影工业的发展，我们需要将视角转向国际市场，通过数据分析，了解一下外国人比较感兴趣的电影。

▍01 数据爬取

1. 网页分析

IMDB top250主页

IMDB电影详情页(1)

IMDB 电影详情页(2)

基于以上网页构造，我们发现只需得到每个电影的详情页编码(唯一)，通过2次“蛙跳”，实现详情页(1)(2)导出国家&类型，分数&人数的信息的获取。便于理解，爬取思维导图如下：

2. 爬虫代码

IMDB top250主页

#导入库-------------------------------------------
from urllib import request
from chardet import detect
from bs4 import BeautifulSoup
import pandas as pd
import time
import random

#获取网页源码，生成soup对象-------------------------
def getSoup(url):
    with request.urlopen(url) as fp:
       byt = fp.read()
       det = detect(byt)
       time.sleep(random.randrange(1,5))
       return BeautifulSoup(byt.decode(det['encoding']),'lxml')
   
#解析数据-------------------------------------------  
def getData(soup):
   #获取评分
   ol = soup.find('tbody', attrs = {'class': 'lister-list'})
   score_info = ol.find_all('td',attrs={'class':'imdbRating'})
   film_scores = [k.text.replace('\n','') for k in score_info]
   #获取评分、电影名、导演・演员、上映年份、详情网页链接
   film_info = ol.find_all('td',attrs={'class':'titleColumn'})
   film_names =  [k.find('a').text for k in film_info]
   film_actors =  [k.find('a').attrs['title'] for k in film_info]
   film_years = [k.find('span').text[1:5] for k in film_info]
   next_nurl =  [url2 + k.find('a').attrs['href'][0:17]  for k in film_info]
   data=pd.DataFrame({'name':film_names,'year':film_years,'score':film_scores,'actors':film_actors,'newurl':next_nurl})      
    return data

IMDB top250电影详情页

#获取详情页数据-------------------------------------------
def nextUrl(detail,detail1):
  #获取电影国家
  detail_list = detail.find('div',attrs={'id':'titleDetails'}).find_all('div',attrs={'class':'txt-block'})
   detail_str = [k.text.replace('\n','') for k in detail_list]
  detail_str = [k for k in detail_str if k.find(':')>=0]
  detail_dict = {k.split(':')[0] : k.split(':')[1] for k in detail_str}
  country = detail_dict['Country']    
  #获取电影类型
  detail_list1 = detail.find('div',attrs={'class':'title_wrapper'}).find_all('div',attrs={'class':'subtext'})
   detail_str1 = [k.find('a').text for k in detail_list1]
  movie_type=pd.DataFrame({'Type':detail_str1})
  #获取以组划分的电影详细评分、人数
  div_list = detail1.find_all('td',attrs= {'align': 'center'}) 
  value = [k.find('div',attrs= {'class': 'bigcell'}).text.strip() for k in div_list]
   num   = [k.find('div', attrs={'class': 'smallcell'}).text.strip() for k in div_list]
   scores=pd.DataFrame({'value':value,'num':num})  
  return country,movie_type,scores

3. 数据展示

最终我们得到了如下数据，并将其进行存储用于后续的分析：

▍02 数据分析

1. 影片类型对比

首先来看一下各个类型的影片占比：

Top250电影的类型占比，前三名分别是喜剧、犯罪与动作。

紧张刺激的情绪、张弛有度的情节，最能带给影迷带来记忆深刻的观影体验。

下面再来看下各个类型的影片的得分对比：

从类型来看，西部片一骑绝尘，究其原因可能与受众人群小、爱好者狂野奔的性格易给高分有关。其次，犯罪、动作、冒险、推理、恐怖题材也易出较高评分。

2. 年份对比

首先我们看下TOP250电影的所属年份：

Top250电影中，1957、1995、与2014年电影较多，而1975年后，上榜电影有明显增加的趋势，这可能与电影工业的日趋成熟有关。

至于1995年，熟悉电影的小伙伴可能知道，1995年是世界电影100周年，无数电影天才抱着献礼的想法，在这一年诞生了他们伟大的作品，我们较为熟悉的有《肖申克的救赎》《阿甘正传》《低俗小说》《四个婚礼与一个葬礼》《七宗罪》《狮子王》等。

同时我们看下各个年份电影的评价分数：

比较电影年代评分，并无发现明显上升或下降趋势，可见电影艺术并不会随时间而失去自身价值。对于电影，技术不是第一位的，感情共鸣的因素占更大权重；哪部电影最好看？答案就在我们每个人心中。

3. 国家对比

我们看下各个国家的电影在TOP250电影中的占比情况：

这个数据比较有趣，有点像诺贝尔奖，美国电影占据半壁江山，其余国家瓜分剩下的蛋糕。排名前几位的分别是英国、法国、日本、德国。而中国，唯一上榜的电影只有一部——《花样年华》。

如果是西方主流价值观的原因，同样作为东方文化代表的邻国日本，却有16部电影上榜，可见西方价值观并不能成为中国电影上榜少的主要原因。虽然近几年中国不乏有《大鱼海棠》、以及刚最新上映的《流浪地球》这样高质量的作品上线，但是在国际市场仍反响平平。

我相信电影是有共同语言的，也真的有普世价值观这样的东西。如何打造国际化电影工业，给世界人民讲故事，是中国电影人接下来需要探索的课题。

4. 导演对比

我们一起看下那些在TOP250榜单中，最常出现的导演们：

电影界的诺贝尔开奖啦，一起来看看有哪些作者上榜。鉴于大家对外国导演名可能不太熟悉，这里做了一个导演-代表作做对照表，值得注意的是，雷德利・斯科特、詹姆斯・卡梅隆、大卫・芬奇分别执导了电影《异形1》《异形2》《异形3》，一部《异形》出3个上榜导演，可见其系列影响力，没看过的小伙伴强烈建议一看，虽然口味可能点重。