快速上手——我用scrapy写爬虫（一）

写在前面

用python写爬虫的人很多，python的爬虫框架也很多，诸如pyspider 和 scrapy，笔者还是笔记倾向于scrapy，本文就用python写一个小爬虫demo。

本文适用于有一定python基础的，并且对爬虫有一定了解的开发者。

安装 Scrapy

检查环境，python的版本为3.6.2，pip为9.0.1

安装scrapy框架

如果报错：

安装完成

创建项目

目录结构

创建执行爬取的类ImoocSpider在scrapyDemo/spiders中

开始爬取

如果出现，则缺少win32api库，选择相应的版本

下载地址：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/

大功告成

看到如下输出，就说明爬取成功啦

保存数据到mysql数据库 https://www.tech1024.cn/original/2959.html