Scrapy爬虫系列教程（二）

今天我们新建第一个爬虫程序，爬取[伯乐在线]网站上一个网页的内容。

创建项目

[按照上一篇文章所讲的，你已经建好一个虚拟环境并安装好了]

首先，打开控制台，进入虚拟环境，输入新建一个名字为的项目。

输入查看文件下的目录结构。

用打开该文件夹，并在文件夹下新建一个文件，取名为。

在编写程序之前，我们先分析一下所要抓取的网页，登录伯乐在线网站，随便打开一篇文章：http://python.jobbole.com/89004/

我们要提取这个网页的标题，发布时间，标签，评论数，点赞数等等。

提取数据

学习如何使用提取数据的最好方法是尝试使用的选择器。

在控制台输入

会看到：

下面用响应对象使用选择元素：

提取标题，输入：

提取创建时间，输入：

提取标签，输入：

提取点赞数，输入：

提取收藏数，输入：

提取评论数，输入

这里需要说明的是，调用返回的是一个列表，而当你想返回列表中的第一个值，可以调用。

除了使用和方法之外，还可以使用正则表达式进行提取页面信息。比如，对于收藏数和评论数，我们仅仅是想提取数字而已，所以得把上面抓取到的内容进行正则匹配。

当我们提取标签的时，发现其中还有，这并不是我们希望看到的，所以我们得用正则匹配把无用的信息剔除掉。

到此为止，我们的程序代码就已经分析完成了。

主要代码：

另外，要想在上运行此程序，还需要新建一个函数

运行函数，得到运行结果。

网页上的数据被抓取下来了，你可以尝试着把这个网页的正文抓取下来。