零基础想学爬虫的看过来了！手把手从安装开始教你如何爬取网页！

我们第一个爬虫

创建第一个爬虫类：tutorial/spiders/quotes_spider.py 小编推荐大家加一下这个群：330637182 这个群里好几千人了！大家遇到啥问题都会在里面交流！而且免费分享零基础入门资料 web开发 爬虫资料一整套！是个非常好的学习交流地方！也有程序员大神给大家热心解答各种问题！很快满员了。欲进从速哦！各种PDF等你来下载！全部都是免费的哦！所以小编在群里等你们过来一起交流学习呢！

name：标识爬虫。它在项目中必须是唯一的，也就是说，您不能为不同的Spider设置相同的名称。

start_requests()：必须返回一个迭代的Requests（你可以返回请求列表或写一个生成器函数），Spider将开始抓取。后续请求将从这些初始请求连续生成。

parse()：将被调用来处理为每个请求下载的响应的方法。 response参数是一个TextResponse保存页面内容的实例，并且具有更多有用的方法来处理它。

该parse()方法通常解析响应，提取抓取的数据作为词典，并且还找到要跟踪的新网址并从中创建新的请求（Request）。

XPath表达式非常强大，是Scrapy选择器的基础。事实上，CSS选底层也是用XPath。虽然也许不像CSS选择器那么流行，XPath表达式提供了更多的功能，因为除了导航结构之外，它还可以查看内容。使用XPath，您可以选择以下内容：选择包含文本“下一页”的链接。这使得XPath非常适合于抓取任务，我们鼓励你学习XPath，即使你已经知道如何构建CSS选择器，它会使刮除更容易。

每个选择器允许我们对它们的子元素执行进一步的查询。

将第一个选择器分配给一个变量，以便我们可以直接对特定的引用运行我们的CSS选择器：

首先是提取我们要关注的网页的链接。检查我们的页面，我们可以看到有一个链接到下一页与下面的标记：

谢谢阅读！

如有侵权请联系小编删除！