BeautifulSoup4爬取猫眼电影前一百
最开始学习python，是因为爬虫。最初学习小甲鱼的教学视频，后来在小甲鱼的论坛上发现了用bs4爬取豆瓣前一百，当时怎么也看不懂。后来系统的学习了一下爬虫。参考了崔大佬的爬虫之后，改编书上的例子（书上用正则法则），我这里用bs4，后文会附上正则法则解析网页。
系统流程：
1.观察页面构造--知道要提取多少页，url构造方式等
2.编写函数解析每一页--得到每一页需要的数据
3.数据清洗和保存--按一定格式存储
4.循环2-3爬取所有的页面
用到的库：
from requests.exceptions import RequestException
from urllib.parse import urlencode
from bs4 import BeautifulSoup
import requests
import json
import re
import time一般来说用requests.get得到网页信息时可能会报错，那么需要用try...except的模式，第一个导入就是用来提供except情况的。 我这里偷了个懒，用urlencode（）来构造url。因为电影排行前一百嘛，观察网页发现每一页介绍10个电影，那么必然就是10页了。
观察页面：
在这个主题里，还是看图说话的好，毕竟是观察嘛。网速有点卡，待老夫慢慢展开，各位看官多多包容。
打开Chrome浏览器。输入网址http://maoyan.com/board/4，然后用你们勤劳的手指，戳中F12。如下图所示。
不管图中有啥美女，我们继续我们伟大的爬虫事业。我一定不能让这该死的开发者工具阻挡住我伟大的视野，网页往下翻页，看到下一页，轻轻的一点。如下。
哼，美女没有了，换成二次元了。这可如何是好？既然世界那么恶劣，我们来看看这让人又爱又恨的开发者工具？不不不，我们不能死的太年轻。看到抬头了吗？那么url变化了。对比一下，多了一个
？offset=10。这肯定是告诉我们当前页是第11-20那么页码的规律是不是出来啦。我相信这个肯定难不住各位人见人爱的柯南们。
接下来当然得观察观察传说中需要提取的数据。不然写爬虫干嘛。你想想，获得信息最快捷的方式当然是直接看喽。不对不对，逻辑有问题，应该是获得少量信息最快捷的方法是看，获得大量的数据最快捷的方法当然是爬虫爬下来，然后再去看。每页都是介绍电影，当然我们需要的信息肯定是固定在每一页的固定地方的。不然每一页都写一遍代码，前端的小帅哥会升（gun）职（chu）加（gong）薪（si）的。毕竟费力不讨好简直就是浪费青春。所以比如指着《天空之城》点击右键，然后检查，性感的图又如下啦。
咳咳，各位认真看图的肯定发现，我指着的不是天空之城，答对了。真是些聪明的小伙伴。为了实例清楚，我往下翻页了。指了个中间位置的。如图第一行<dd>...</dd>后面还有好多<dd>。中间有个被打开的<dd>是不是发现我们要的索引信息都在<dd>里面。
好了，接下来撸起袖子，咱们开干。。。注意是袖子，不是裤子。
代码：
打开网页：
刚刚我们是用我们大眼睛观察，现在得用程序打开网页。如下：
def open_url(url):
try:
headers ={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36'}
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.text
return None
except RequestException:
return None简单介绍一下，猫眼必须加上header伪装成浏览器，不然会被禁掉。这个headers是怎么回事呢，你可以把它理解成通行证。发送请求给服务器之后，服务器总的验证一下你是啥玩意，所以就只能看看headers喽。当前大家都是互相相信的，至于我伪不伪造通行证，那必然的不然谁让你爬啊。
解析每一页：
当然是传入offset参数，然后用for循环调用函数，这样是不是我们也只用写一个解析一页的函数就好了。
def parse_page(html):
soup = BeautifulSoup(html, 'lxml')
items = soup.select('dd')
for item in items:
index = item.find(name='i', class_='board-index').get_text()
name = item.find(name='p', class_='name').get_text()
start = item.find(name='p', class_='star').get_text().strip()
time = item.find(name='p', class_='releasetime').string
score = item.find(name='p', class_='score').get_text()
yield {
'index':index,
'name':name,
'star':start,
'time':time,
'score':score
}细心的帅哥肯定发现了。我用的是find（）函数，哈哈哈。一般都是用find_all（），是因为我长得帅所以标新立异吗？那当然不是。传说中的理由是，find返回的直接是网页标签，而find_all返回的是列表，列表里面包含标签。图省事。当然用find喽。
保存：
这里数据就不用怎么清洗了，毕竟我用字典形式返回来，以咱们普九的力度来说，大家都看得懂字典的内容的。当然你也可以不用字典，返回一个列表，但是，你的列表里面可能完全没有顺序。有些是电影名在最前面，有些可能是评分在最前面，看起来一点都不爽，所以用字典号啦。
def save(item):
with open('maoyan.txt', 'a', encoding='utf-8') as f:
f.write(json.dumps(item, ensure_ascii=False) + '\n')if __name__ == '__main__':
登场的不用说了，这句话很霸气的告诉编译器，老子程序从这行下面开始执行。
if __name__ == '__main__':
for i in range(10):
base_url = 'http://maoyan.com/board/4?'
params = {'offset': i*10}
url = base_url + urlencode(params)
html = open_url(url)
for item in parse_page(html):
print(item)
save(item)
time.sleep(2)成果展示：
总结：
bs4真的很好用。。等等你说的正则呢。哈哈哈哈当然是下回分解喽。
其实现在我感觉解析网页用的比较多的就是Beautiful Soup 和pyquery。当然还有XPath。我觉得XPath规矩太多有点不符合我想的那样，所有我主要就是用pyquery，然后非常细节的就比如从一段话中提取一些信息，那么我用正则。正则表达式完全的解析一个网页其实很容易出错，而且前端小哥哥稍微改那么一丢丢，可能你的程序就game over了。
祝大家愉快，各位未来程序猿快睡啦。