Scrapy爬取数据初识
Scrapy爬取数据初识
初窥Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
基本步骤
- 选择一个网站
- 定义您想抓取的数据
- 编写提取数据的Spider
- 执行spider，获取数据
- 查看提取到的数据
安装
控制台执行命令pip install Scrapy,如果执行过程中出现building'twisted.test.raiser' extension error: Microsoft Visual C++ 14.0 is required.则需要在网站https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载whl文件，pip安装，再重新运行pip install Scrapy，即可
image.png
原理
Scrapy 使用 Twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。
原理
绿线是数据流向，首先从初始URL开始，Scheduler会将其交给Downloader进行下载，下载之后会交给Spider进行分析，Spider分析出来的结果有两种：一种是需要进一步抓取的链接，例如之前分析的“下一页”的链接，这些东西会被传回Scheduler；另一种是需要保存的数据，它们则被送到Item Pipeline那里，那是对数据进行后期处理（详细分析、过滤、存储等）的地方。另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。 组成部分介绍:
- Scrapy Engine： 负责组件之间数据的流转，当某个动作发生时触发事件
- Scheduler： 接收requests，并把他们入队，以便后续的调度
- Downloader： 负责抓取网页，并传送给引擎，之后抓取结果将传给spider
- Spiders： 用户编写的可定制化的部分，负责解析response，产生items和URL。每一个spider代表一个特定的任务
- Item Pipeline： 负责处理item，典型的用途：清洗、验证、持久化
- Downloader middlewares： 位于引擎和下载器之间的一个钩子，处理传送到下载器的requests和传送到引擎的response(若需要在Requests到达Downloader之前或者是responses到达spiders之前做一些预处理，可以使用该中间件来完成)
- Spider middlewares： 位于引擎和抓取器之间的一个钩子，处理抓取器的输入和输出 (在spiders产生的Items到达Item Pipeline之前做一些预处理或response到达spider之前做一些处理)
一个小例子
创建项目
在开始爬取之前，您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令:scrapy startproject book
创建项目
这些文件分别是:
scrapy.cfg: 项目的配置文件
book/: 该项目的python模块。之后您将在此加入代码。
book/items.py: 项目中的item文件.
book/pipelines.py: 项目中的pipelines文件.
book/settings.py: 项目的设置文件.
book/spiders/: 放置spider代码的目录.
建立spider
首先要进入book目录，使用basic模板创建一个spider
建立spider, scrapy genspider douban https://book.douban.com/top250?start=0
spider
pycharm 调试scrapy
建立一个main.py文件，在book文件目录下,保证main.py和自动生成的scrapy.cfg在同一层,写入下面代码。此文件是为了方便再pycharm中调试scrapy，提高开发效率
from scrapy.cmdline import execute
import sys,os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy','crawl','douban'])scrapy crawl douban即启动，名字为douban的spider
修改setting.py
- 将setting.py中的遵循robot协议改为False，否则会过滤掉一些url
# Obey robots.txt rules
ROBOTSTXT_OBEY = False- 模拟浏览器访问
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0'
提取想要的内容
xpath方式提取
- xpath简介
- xpath使用路径表达式在xml和html中进行导航。
- xpath包含标准函数库。
- xpath是一个w3c的标准。
- xpath节点关系
- 父节点
- 子节点
- 同胞节点
- 先辈节点
- 后代节点
- xpath语法
image.png
image.png
image.png
extract_first()是为了防止extract()[0]不存在的时候报错
name = node.xpath('td[2]/div[1]/a/text()').extract_first().strip()
summary = node.xpath('td[2]/p[2]/span/text()').extract_first()- 在Shell中尝试Selector选择器
一直在pycharm调试xpath太复杂了，因此scrapy提供shell方便测试语法。首先您需要进入项目的根目录，执行下列命令来启动shell:
scrapy shell "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/"注意：当在终端运行Scrapy时，请一定记得给url地址加上引号，否则包含参数的url(例如 & 字符)会导致Scrapy运行失败。
css方式提取
image.png
image.png
image.png
定义Item
Item 是保存爬取到的数据的容器；其使用方法和python字典类似， 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。类似在ORM中做的一样，您可以通过创建一个 scrapy.Item 类， 并且定义类型为 scrapy.Field 的类属性来定义一个Item。 (如果不了解ORM, 不用担心，您会发现这个步骤非常简单)。首先根据需要从book获取到的数据对item进行建模。 我们需要从book中获取名字，描述。 对此，在item中定义相应的字段。编辑 book目录中的 items.py 文件:
class BookItem(scrapy.Item):
# define the fields for your item here like:
name = scrapy.Field()
summary = scrapy.Field()
pass代码
GitHub地址https://github.com/zhangpu1211/scrapy
可能遇到的错误
No modle named ‘win32api’
解决方案：pip install -i https://pypi.douban.com/simple/ pypiwin32
为什么有时候自己写的xpath明明对的，却获取不到数据？
原因：F12产生的源码，不同于网页源代码，前者可能是js加载完的源代码。response.xpath()是根据网页源代码来提取信息的。
UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''.
解决方案：pip install service_identity --force --upgrade
csv文件输出空一行
在python中的Lib\site-packages\scrapy，编辑该路径下的exporters.py文件，并修改如下内容：
image.png
csv文件中文乱码
用sublime打开文件--以...编码保存--UTF-8 with BOM