专栏：009：高评分电影都在这里

谢伟

发布于 2018-06-06 11:44:57

5020

发布于 2018-06-06 11:44:57

文章被收录于专栏：GopherCoder

用理工科思维看待这个世界
系列爬虫专栏
崇尚的学习思维是：输入，输出平衡，且平衡点不断攀升。
曾经有大神告诫说：没事别瞎写文章；所以，很认真的写的是能力范围内的，看客要是看不懂，不是你的问题，问题在我，得持续输入，再输出。
今天的主题是：实战爬取电影，并存储至MySQL数据库

1：框架

序号	目标	说明
01	抓取目标分析	-目标是什么
02	分解任务	--
03	MySQL建表操作	本地建表
04	实战抓取	--
05	参考及总结	--

2：目标

任务是：抓取网站数据，存放至MySQL数据库中。

效果显示：抓取的目标存放至本地MySQL数据库

001.png

初始URL url = https://movie.douban.com/top250

字段： Film : 电影名称 Director: 电影导演 Rates : 评分数 Numbers : 评分人数 Url: 电影链接 Describe: 电影介绍 (网站的一句话，经典台词之类的)

3：任务分解

具体点击网页审查元素：链接

字段的正则表达式

电影名称： Film_pattern = r'<span class="title">(.*?)</span>'

电影导演： Director_pattern = r'<p class="">(.*?)</p>'

评分数： Rates_pattern = r'<span class="rating_num" property="v:average">(.*?)</span>'

评分人数：先抓大，再在大的里面匹配所需的文本信息 Number_pattern_large = r'<div class="star">(.*?)</div>' Number_pattern_small = r'<span>(.*?)</span>'

电影链接：先抓大，再在大的里面匹配所需的文本信息 Urlfilm_pattern_large = r'<div class="hd">(.*?)</div>' Urlfilm_pattern_small = r'<a href="(.*?)"'

电影介绍： Describe_pattern = r'<span class="inq">(.*?)</span>'

URL的分析：由翻页，自己匹配出网址：(也可以网址抓取)。10页。 urls = ["https://movie.douban.com/top250?start={}&filter=".format(i) for i in range(0,250,25)]

网址分析完成，正则分析完成。任务完成了大半。

4：数据库建表操作

在本地：数据库名为：exercise 下创建一个表名为：douban_film

建表的SQL语法：参照w3school

CREATE TABLE `douban_film` (
  `Film` CHAR(32) DEFAULT NULL COMMENT '电影名称',
  `Director` CHAR(32) DEFAULT NULL COMMENT '电影导演',
  `Rates` FLOAT DEFAULT NULL COMMENT '评分数',
  `Number` CHAR(16) DEFAULT NULL COMMENT '评分人数',
  `Url` CHAR(128) DEFAULT NULL COMMENT '评分人数',
  `Describe` CHAR(128) DEFAULT NULL COMMENT '电影介绍'
) ENGINE=INNODB DEFAULT CHARSET=utf8 COMMENT='豆瓣电影250介绍'
`douban_film`
# 执行sql语句就可以创建一个表，各字段及其属性如上示

5：实战抓取

单独使用正则，会出现很多难以匹配(可能没有尝试其他匹配规则)。需要对网页进行不断的分析。

抓取核心代码：(大神轻拍代码...)

# 网页抓取字段示例
 def content_json(self, content):
     Film_all = re.findall(self.Film_pattern, content, re.S)
     Film = []
     for one_film in Film_all:
         if "&nbsp" not in one_film:
             Film.append(one_film)
     Director_all = re.findall(self.Director_pattern, content, re.S)
     Director = []
     for one_Director in Director_all:
         one = self.str_replace(one_Director)
         Director.append(one)
     Rates = re.findall(self.Rates_pattern, content, re.S)
     Number_large = re.findall(self.Number_pattern_large, content, re.S)
     Number = []
     for one_number in Number_large:
         Number_one = re.findall(self.Number_pattern_small, one_number, re.S)[0]
         Number.append(Number_one)
     Describe = re.findall(self.Describe_pattern, content, re.S)
     Url_largre = re.findall(self.Urlfilm_pattern_large, content, re.S)
     Url =[]
     for one_url in Url_largre:
         Url_one = re.findall(self.Urlfilm_pattern_small, one_url, re.S)[0]
         Url.append(Url_one)
     Film_collection = []
     for Film, Director, Rates, Number, Describe, Url in zip(Film, Director, Rates, Number, Describe, Url):
         data = {
             "Film": Film,
             "Director": Director,
             "Rates": Rates,
             "Number": Number,
             "Describe": Describe,
             "Url": Url
         }
         Film_collection.append(data)
     return Film_collection

# 文本匹配会有很多不需要的字段，如下函数实现数据清洗
def str_replace(self, str_one):
    str_one_1 = str_one.replace("\n", '')
    str_one_2 = str_one_1.replace("<br>", '')
    str_one_3 = str_one_2.replace(" ", '')
    str_one_4 = str_one_3.replace("\t", "")
    str_one_5 = str_one_4.replace(" ", '').strip()
    return str_one_5

# 单独写sql语句比较繁琐，如下函数实现JSON格式数据转换成SQL语句
import copy
def json_to_mysql(json_obj, table, sql_type="insert"):
    local_copy = copy.deepcopy(json_obj)
    if sql_type == "insert":
        sql_part1 = "insert into " + table
        keys = local_copy.keys()

        sql_part2 = "("
        for key in keys:
            sql_part2 += "`%s`"%(key)
            sql_part2 += ","
        sql_part2 = sql_part2.rstrip(",")
        sql_part2 += ")"

        sql_part3 = "("
        for key in keys:
            sql_part3 += "'" + (local_copy[key]) + "'"
            sql_part3 += ","
        sql_part3 = sql_part3.rstrip(",")
        sql_part3 += ")"

        sql = sql_part1 + " " + sql_part2 + " values " + sql_part3
    return sql

核心代码已经完成：整体思路如下：