爬虫小记（一）

严重声明：

本文涉及的方法和代码都只用于学习和研究，严禁转载和用于商业目的，否则后果自负！

引

在简书中有很多主题频道，里面有大量优秀的文章，我想收集这些文章用于提取对我有用的东西；

无疑爬虫是一个好的选择，我选用了python的一个爬虫库scrapy，它的官方文档就是很好的教程：http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html

准备工作

scrapy安装

pip install Scrapy

我遇到的问题是，编译时候stdarg.h找不到；于是查看报问题的头文件目录，把stdarg.h拷贝进去就OK了，这个花了我好长时间。。。

因为scrapy依赖于twisted，所以有人安装scrapy可能会提示缺少twisted，介绍如下：

从https://pypi.python.org/pypi/Twisted/#downloads下载离线文件，然后执行一下安装。

cd Twisted-xxx

python setup.py install

mysql

抓取到的数据默认是用json存储，因为不同类型的数据混合存储，解析和查询过于繁琐，所以我选择数据库；至于没有用mongodb，是因为我机子上本来就装有mysql，而且自己学习研究用不到mongodb的一些优点。

mysql数据库是分服务器(server)，客户端(workbench)，python的接口链接器(mysql-connector）；这些都可以从官方找到，参见 https://dev.mysql.com/downloads/

connector可以直接用pip安装，这里有个好处就是不用额外操心环境变量的事儿。

pip install mysql-connector

对于connector的使用，参见官方说明文档：

https://dev.mysql.com/doc/connector-python/en/

一个简单的框架

创建一个scrapy工程

scrapy startproject HelloScrapy

启动一个工程

scrapy crawl demo

还可以用shell启动，这个好处是你可以介入每一个执行命令

scrapy shell 'https://www.jianshu.com/u/4a4eb4feee62'

需要注意的是，网站一般会有反爬虫机制，抓取会返回403错误，所以记得把user-agent改了：

settings.py

USER_AGENT = 'HelloWoWo'

开启爬虫

你需要在spider目录下建立一个scrapy.Spider的子类，定义它的名称（name, 就是启动工程时指定的名称），允许的域名(allowed_domains)，起始的爬取链接(start_urls)；

然后定义parse函数，它的参数response就是响应内容，你可以从中解析要获取的内容和新的链接；解析的方式可以通过xpath和css，这里用xpath；然后可以通过yield，把解析到的对象推送到存储流程中，如果你想爬虫系统继续爬取新的链接，也可以通过yield来进入下一步爬取中。

from HelloScrapy.items import HelloscrapyItem

class DemoScrapy(scrapy.Spider):

name = 'demo'

allowed_domains = ['jianshu.com']

start_urls = [

'https://www.jianshu.com/u/4a4eb4feee62',

'https://www.jianshu.com/u/d2a08403ea7f',

]

def parse(self, response):

user_sel = response.xpath('//body/div/div/div/div/div/ul/li/div/p/text()')

item = HelloscrapyItem()

item['text_num'] = int(user_sel[0].extract())

item['favor_num'] = int(user_sel[1].extract())

yield item

Item

上面代码中的item就是用于描述抓取到的数据结构，它们每个属性都用scrapy.Field()表示。

import scrapy

class HelloscrapyItem(scrapy.Item):

# define the fields for your item here like:

name = scrapy.Field()

text_num = scrapy.Field()

favor_num = scrapy.Field()

Pipeline

它负责整个存储的过程，可以存储在json文件中，也可以通过数据库。

但是首先，你需要在settings.py中声明你的pipeline（默认有的，打开注释然后修改下）:

# Configure item pipelines

# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html

ITEM_PIPELINES = {

'HelloScrapy.pipelines.MySqlPipeline': 300,

}

如果使用最简单的json方式，可以定义如下：

其中open_spider，close_spider如名字一样，分别会在启动spider和结束spider时调用，所以这里分别定义了文件的打开和关闭；

而process_item就是对每个item的存储处理，这里将item进行json化，保存在预定义的文件中。

import json

class HelloscrapyPipeline(object):

def open_spider(self, spider):

self.file = open('./items.txt', 'w')

def close_spider(self, spider):

def process_item(self, item, spider):

line = json.dumps(dict(item))

return item

我这边使用的是mysql，介绍如下。

mysql

首先定义一个mysql的封装类，支持打开和关闭一个数据库，创建一个表，插入一条数据。

import mysql.connector

from mysql.connector import errorcode

from settings import *

class MySqlDb(object):

def __init__(self, db_name):

self.db_name = db_name

self.cnx = None

self.cursor = None

pass

def open(self):

self.__ensureDb(self.cnx, self.cursor, self.db_name)

pass

def close(self):

if self.cursor:

if self.cnx:

pass

def createTable(self, tbl_ddl):

if self.cnx and self.cursor:

self.__ensureDb(self.cnx, self.cursor, self.db_name)

self.__ensureTable(self.cursor, tbl_ddl)

pass

def insert(self, sql, values):

if self.cnx and self.cursor:

try:

except:

pass

pass

def __ensureDb(self, cnx, cursor, db_name):

try:

cnx.database = db_name

except mysql.connector.Error as err:

if err.errno == errorcode.ER_BAD_DB_ERROR:

try:

cursor.execute("CREATE DATABASE {} DEFAULT CHARACTER SET 'utf8'".format(db_name))

except mysql.connector.Error as create_err:

print("Failed creating database: {}".format(create_err))

exit(1)

cnx.database = db_name

else:

print err

exit(1)

def __ensureTable(self, cursor, tbl_ddl):

try:

cursor.execute(tbl_ddl)

except mysql.connector.Error as err:

if err.errno == errorcode.ER_TABLE_EXISTS_ERROR:

pass

else:

print err.msg

else:

pass

然后抽象一个item的基类：

该类的insertToDb定义了插入的过程，由每个子类提供创建表和插入数据的sql语句。

import scrapy

class BaseItem(scrapy.Item):

def insertToDb(self, mysqldb):

table_sql = self.getTableSql()

insert_sql = self.getInsertSql()

if table_sql and insert_sql:

mysqldb.createTable(table_sql)

mysqldb.insert(insert_sql, dict(self))

else:

print 'Empty!!!!!!!!!!!!!!!!!!!!!!!'

pass

def getTableSql(self):

return None

def getInsertSql(self):

return None

它的一个子类示意：

import scrapy

from item_base import *

class ArticleItem(BaseItem):

item_type = scrapy.Field()

title = scrapy.Field()

author = scrapy.Field()

author_link = scrapy.Field()

content = scrapy.Field()

def getTableSql(self):

return "CREATE TABLE `article` (" \

" `title` varchar(256) NOT NULL," \

" `author` varchar(128) NOT NULL," \

" `author_link` varchar(1024) NOT NULL," \

" `content` TEXT(40960) NOT NULL," \

" PRIMARY KEY (`title`)" \

") ENGINE=InnoDB"

def getInsertSql(self):

return "INSERT INTO article " \

"(title, author, author_link, content) " \

"VALUES (%(title)s, %(author)s, %(author_link)s, %(content)s)"

这样，爬取到的内容记录在不同类型的item中，最后又通过item的insertToDb过程，插入到mysql中。

可以通过workbench直接查看：

爬取技巧

上面的基本元素都有了，我们继续看下爬取过程中的一些小问题。

首先是怎么使用xpath解析网页元素。

xpath返回的是selector，对应网页中的dom结构，比如我们用chrome调试器看下网页的结构：

当鼠标放置一个地方，真实网页中会显示对应的选中区域的，所以你可以对照左边一层层找到它所对应的html结构，比如"//body/div/div/div"。

获取属性方法使用@，如@href

xpath('div/div/span/@data-shared-at')

使用@class提取节点

response.xpath('//body/div[@class="note"]')

抓取html内容

content = article_sel.xpath("div[@class='show-content']/div[@class='show-content-free']/*").extract()

content = ''.join(content)

抓取文本

content = article_sel.xpath("div[@class='show-content']/div[@class='show-content-free']//text()").extract()

content = ''.join(content)

其次是怎么让爬虫延伸。

当你抓取到一个感兴趣的链接后，比如当前正在爬取的是某个人的简书主页，网页中有很多文章链接，你想继续爬取的话，就可以yield出去：

"""

url: 要继续爬取的链接

callback: 爬取后的响应处理

"""

yield scrapy.Request(url=link, callback=self.parse)

但是一般看到的链接是相对地址，所以你要先做一个处理：

from urlparse import urljoin

我们也看到，上面的self.parse方法被用在很多网页请求中，但是这些网页的格式可能是不一样的，那么你需要做一个分类：

cur_url = response.url

if cur_url.startswith('https://www.jianshu.com/u'):

pass

elif cur_url.startswith('https://www.jianshu.com/p'):

pass

最后讲一下怎么去抓动态网页。

你可以分析下简书某个专题的网页格式，它的内容列表一般是10条，但是你往下滑动的时候它又会增多；当爬取这个专题网页的时候，你只能解析最开始的10条，怎么办呢？

打开调试器，选择network/XHR，当你在左边的网页中不停往上滑动的时候，就会不断出现右边新的链接，有没有发现什么？

这些网页都是有规律的，xxx?order_by=added_at&page=xx，其中order_by就是这个专题的Tab目录，added_at表示最新添加的，而page就是第几个页。

如果你遍历所有的page页，不就把这些动态网页抓取到了吗？不过有个坏消息，就是page页有上限，目前是200，不要告诉是我说的。。。

代码工程

代码我上传到了github上，其中HelloScrapy/db/settings.py中的变量是无效的，需要配置为有效的mysql用户名和密码。

https://github.com/callmejacob/spider

最后再啰嗦一句，该代码只用于学习和研究，严禁商业用途，否则后果自负。