关于爬虫数据的解析器设计
一、为什么要设计解析器
我的七月小说网肯定不止爬单个站点的，每新增一个站点或者网页dom发生变化就得修改代码，多累哦。 所以我决定弄个数据解析器。
二、设计思路
下面是一个通用的解析规则对象
"parse": {
"select": ".book-info h1 em",//通过BeautifulSoap 的select选择器，通过传入不同的解析规则（标签、className、id）等取出数据容器。
"index": 0,//容器的索引位置
"isList": false, //容器类型
"func": "text", //预置的数据解析函数
"state": 1, //解析规则状态
"siteId": 1 //源站点对应id
}1.首先确定解析器待获取的数据的类型和字段； 2.通过目标html dom节点确定select值； 3.根据数据类型判断容器类型是否是单个还是多个； 4.选择合适的预置数据处理function；
三、实例
以一个book对象举个例子： 现在要获取bookId, bookName, cover, author, summary, chapters, tags等这些数据。 1.把数据理出来：
book{
bookId: String!
bookName: String!
cover: String!
author: String
summary: String
chapters: List
tags: List
...
}2.为每个字段设计解析规则 下面是两个典型字段的解析
bookNameParse{
select: ".book-info h1 em",
index: 0,
func: 'text',
isList: false //容器类型
}
chaptersParse{
select: ".catalog-content-wrap .volume-wrap .cf li a",
func: 'list', //预置的数据解析函数
isList: true //容器类型
}四、缺点
所有节点都在整个html dom中选择，可能会导致程序冗余； 程序设计更加复杂化了； 需要更多优化才能保持高可用性； 需要后台管理系统添加解析规则；
五、继续优化
1.添加解析规则的时候，强制校验解析规则的有效性； 2.为解析规则添加状态标记：
正常：解析规则正常运转 待修改：源网页html dom结构发生变化，需要修改； 废弃：不再使用此解析规则
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2018-02-27 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读