为什么使用Scrapy框架来写爬虫？

如题：为什么使用Scrapy框架来写爬虫？

Python爬虫中：Requests + Selenium可以解决目前90%的爬虫需求，难道Scrapy是解决剩下的10%的吗？

显然不是这样的。

Scrapy框架是为了让我们的爬虫更强大、更高效。接下来我们一起学习一下它吧。

（文末有总结的Scrapy框架福利，继续往下滑，不要停）

下面的是Scrapy的架构，包括组件以及在系统中发生的数据流的概览(红色箭头所示)。

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中，Scrapy使用Twisted这个异步网络库来处理网络通讯，机构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。

那么你在学习Scrapy框架的时候都遇到哪些坑？我总结了我遇到的“问题”给你们做个对比

1、scrapy安装失败？ 2、No module named scrapy ？ 3、XPaths谷歌插件使用？ 4、scrapy 生成json文件中文是Unicode字符？ 5、解决爬取数据频繁时，被禁止？

你们知道这些问题我都是怎么解决的么？

我是看了廖雪峰老师的Scrapy框架教程解决的，并且已经总结好了一整套关于Scrapy的学习教程干货，分享给正被这些问题困扰着的伙伴。