爬虫小记(一)

严重声明:

本文涉及的方法和代码都只用于学习和研究,严禁转载和用于商业目的,否则后果自负!

在简书中有很多主题频道,里面有大量优秀的文章,我想收集这些文章用于提取对我有用的东西;

无疑爬虫是一个好的选择,我选用了python的一个爬虫库scrapy,它的官方文档就是很好的教程:http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html

准备工作

scrapy安装

pip install Scrapy

我遇到的问题是,编译时候stdarg.h找不到;于是查看报问题的头文件目录,把stdarg.h拷贝进去就OK了,这个花了我好长时间。。。

因为scrapy依赖于twisted,所以有人安装scrapy可能会提示缺少twisted,介绍如下:

从https://pypi.python.org/pypi/Twisted/#downloads下载离线文件,然后执行一下安装。

cd Twisted-xxx

python setup.py install

mysql

抓取到的数据默认是用json存储,因为不同类型的数据混合存储,解析和查询过于繁琐,所以我选择数据库;至于没有用mongodb,是因为我机子上本来就装有mysql,而且自己学习研究用不到mongodb的一些优点。

mysql数据库是分服务器(server),客户端(workbench),python的接口链接器(mysql-connector);这些都可以从官方找到,参见 https://dev.mysql.com/downloads/

connector可以直接用pip安装,这里有个好处就是不用额外操心环境变量的事儿。

pip install mysql-connector

对于connector的使用,参见官方说明文档:

https://dev.mysql.com/doc/connector-python/en/

一个简单的框架

创建一个scrapy工程

scrapy startproject HelloScrapy

启动一个工程

scrapy crawl demo

还可以用shell启动,这个好处是你可以介入每一个执行命令

scrapy shell 'https://www.jianshu.com/u/4a4eb4feee62'

需要注意的是,网站一般会有反爬虫机制,抓取会返回403错误,所以记得把user-agent改了:

settings.py

USER_AGENT = 'HelloWoWo'

开启爬虫

你需要在spider目录下建立一个scrapy.Spider的子类,定义它的名称(name, 就是启动工程时指定的名称),允许的域名(allowed_domains),起始的爬取链接(start_urls);

然后定义parse函数,它的参数response就是响应内容,你可以从中解析要获取的内容和新的链接;解析的方式可以通过xpath和css,这里用xpath;然后可以通过yield,把解析到的对象推送到存储流程中,如果你想爬虫系统继续爬取新的链接,也可以通过yield来进入下一步爬取中。

from HelloScrapy.items import HelloscrapyItem

class DemoScrapy(scrapy.Spider):

name = 'demo'

allowed_domains = ['jianshu.com']

start_urls = [

'https://www.jianshu.com/u/4a4eb4feee62',

'https://www.jianshu.com/u/d2a08403ea7f',

]

def parse(self, response):

user_sel = response.xpath('//body/div/div/div/div/div/ul/li/div/p/text()')

item = HelloscrapyItem()

item['text_num'] = int(user_sel[0].extract())

item['favor_num'] = int(user_sel[1].extract())

yield item

Item

上面代码中的item就是用于描述抓取到的数据结构,它们每个属性都用scrapy.Field()表示。

import scrapy

class HelloscrapyItem(scrapy.Item):

# define the fields for your item here like:

name = scrapy.Field()

text_num = scrapy.Field()

favor_num = scrapy.Field()

Pipeline

它负责整个存储的过程,可以存储在json文件中,也可以通过数据库。

但是首先,你需要在settings.py中声明你的pipeline(默认有的,打开注释然后修改下):

# Configure item pipelines

# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html

ITEM_PIPELINES = {

'HelloScrapy.pipelines.MySqlPipeline': 300,

}

如果使用最简单的json方式,可以定义如下:

其中open_spider,close_spider如名字一样,分别会在启动spider和结束spider时调用,所以这里分别定义了文件的打开和关闭;

而process_item就是对每个item的存储处理,这里将item进行json化,保存在预定义的文件中。

import json

class HelloscrapyPipeline(object):

def open_spider(self, spider):

self.file = open('./items.txt', 'w')

def close_spider(self, spider):

def process_item(self, item, spider):

line = json.dumps(dict(item))

return item

我这边使用的是mysql,介绍如下。

mysql

首先定义一个mysql的封装类,支持打开和关闭一个数据库,创建一个表,插入一条数据。

import mysql.connector

from mysql.connector import errorcode

from settings import *

class MySqlDb(object):

def __init__(self, db_name):

self.db_name = db_name

self.cnx = None

self.cursor = None

pass

def open(self):

self.__ensureDb(self.cnx, self.cursor, self.db_name)

pass

def close(self):

if self.cursor:

if self.cnx:

pass

def createTable(self, tbl_ddl):

if self.cnx and self.cursor:

self.__ensureDb(self.cnx, self.cursor, self.db_name)

self.__ensureTable(self.cursor, tbl_ddl)

pass

def insert(self, sql, values):

if self.cnx and self.cursor:

try:

except:

pass

pass

def __ensureDb(self, cnx, cursor, db_name):

try:

cnx.database = db_name

except mysql.connector.Error as err:

if err.errno == errorcode.ER_BAD_DB_ERROR:

try:

cursor.execute("CREATE DATABASE {} DEFAULT CHARACTER SET 'utf8'".format(db_name))

except mysql.connector.Error as create_err:

print("Failed creating database: {}".format(create_err))

exit(1)

cnx.database = db_name

else:

print err

exit(1)

def __ensureTable(self, cursor, tbl_ddl):

try:

cursor.execute(tbl_ddl)

except mysql.connector.Error as err:

if err.errno == errorcode.ER_TABLE_EXISTS_ERROR:

pass

else:

print err.msg

else:

pass

然后抽象一个item的基类:

该类的insertToDb定义了插入的过程,由每个子类提供创建表和插入数据的sql语句。

import scrapy

class BaseItem(scrapy.Item):

def insertToDb(self, mysqldb):

table_sql = self.getTableSql()

insert_sql = self.getInsertSql()

if table_sql and insert_sql:

mysqldb.createTable(table_sql)

mysqldb.insert(insert_sql, dict(self))

else:

print 'Empty!!!!!!!!!!!!!!!!!!!!!!!'

pass

def getTableSql(self):

return None

def getInsertSql(self):

return None

它的一个子类示意:

import scrapy

from item_base import *

class ArticleItem(BaseItem):

item_type = scrapy.Field()

title = scrapy.Field()

author = scrapy.Field()

author_link = scrapy.Field()

content = scrapy.Field()

def getTableSql(self):

return "CREATE TABLE `article` (" \

" `title` varchar(256) NOT NULL," \

" `author` varchar(128) NOT NULL," \

" `author_link` varchar(1024) NOT NULL," \

" `content` TEXT(40960) NOT NULL," \

" PRIMARY KEY (`title`)" \

") ENGINE=InnoDB"

def getInsertSql(self):

return "INSERT INTO article " \

"(title, author, author_link, content) " \

"VALUES (%(title)s, %(author)s, %(author_link)s, %(content)s)"

这样,爬取到的内容记录在不同类型的item中,最后又通过item的insertToDb过程,插入到mysql中。

可以通过workbench直接查看:

爬取技巧

上面的基本元素都有了,我们继续看下爬取过程中的一些小问题。

首先是怎么使用xpath解析网页元素。

xpath返回的是selector,对应网页中的dom结构,比如我们用chrome调试器看下网页的结构:

当鼠标放置一个地方,真实网页中会显示对应的选中区域的,所以你可以对照左边一层层找到它所对应的html结构,比如"//body/div/div/div"。

获取属性方法使用@,如@href

xpath('div/div/span/@data-shared-at')

使用@class提取节点

response.xpath('//body/div[@class="note"]')

抓取html内容

content = article_sel.xpath("div[@class='show-content']/div[@class='show-content-free']/*").extract()

content = ''.join(content)

抓取文本

content = article_sel.xpath("div[@class='show-content']/div[@class='show-content-free']//text()").extract()

content = ''.join(content)

其次是怎么让爬虫延伸。

当你抓取到一个感兴趣的链接后,比如当前正在爬取的是某个人的简书主页,网页中有很多文章链接,你想继续爬取的话,就可以yield出去:

"""

url: 要继续爬取的链接

callback: 爬取后的响应处理

"""

yield scrapy.Request(url=link, callback=self.parse)

但是一般看到的链接是相对地址,所以你要先做一个处理:

from urlparse import urljoin

我们也看到,上面的self.parse方法被用在很多网页请求中,但是这些网页的格式可能是不一样的,那么你需要做一个分类:

cur_url = response.url

if cur_url.startswith('https://www.jianshu.com/u'):

pass

elif cur_url.startswith('https://www.jianshu.com/p'):

pass

最后讲一下怎么去抓动态网页。

你可以分析下简书某个专题的网页格式,它的内容列表一般是10条,但是你往下滑动的时候它又会增多;当爬取这个专题网页的时候,你只能解析最开始的10条,怎么办呢?

打开调试器,选择network/XHR,当你在左边的网页中不停往上滑动的时候,就会不断出现右边新的链接,有没有发现什么?

这些网页都是有规律的,xxx?order_by=added_at&page=xx,其中order_by就是这个专题的Tab目录,added_at表示最新添加的,而page就是第几个页。

如果你遍历所有的page页,不就把这些动态网页抓取到了吗?不过有个坏消息,就是page页有上限,目前是200,不要告诉是我说的。。。

代码工程

代码我上传到了github上,其中HelloScrapy/db/settings.py中的变量是无效的,需要配置为有效的mysql用户名和密码。

https://github.com/callmejacob/spider

最后再啰嗦一句,该代码只用于学习和研究,严禁商业用途,否则后果自负。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180304G0S31300?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券