Python 单元测试 增强系统健壮性
问题背景交代
注意，JulyNovel只爬取免费小说，所有vip章节全部导航至起点网站，遵循robots协议，所有数据仅供学习用途，侵删 通过编写单元测试，提高JulyNovel系统可靠性 首先我们知道，一本完整书籍归档至少需要两条url： bookinfo_url 书籍详情； chapter_url 章节内容； 它们前后两者是一对多的父子关系。
两个典型场景
1.JulyNovel需要在request_url插入spider.wait队列之前去判断有没有必要去爬这条url
三条典型逻辑： 盗版源 && 完本 => 无需爬 盗版源 && 未完本 => 判断是否有待更新章节 正版源 && 完本 => 判断是否存在vip章节 正版源 && 未完本 => 判断是否存在vip章节 判断是否有待更新章节
单元测试简例
test_dbutil.py
# -*- coding: utf-8 -*-
import unittest
from app.utils.operate_db import DBUtil
class TestDBUtil(unittest.TestCase):
def test_init(self):
db = DBUtil()
self.assertTrue(isinstance(db, DBUtil))
def test_is__book_saved(self):
db = DBUtil()
self.assertEqual(db.is_book_saved(xbook_id='1007994514'), True)
self.assertEqual(db.is_book_saved(book_name='飞剑问道'), True)
self.assertEqual(db.is_book_saved(xbook_id='??'), False)
self.assertEqual(db.is_book_saved(book_name='??'), False)
def test_is__chapter_saved(self):
db = DBUtil()
self.assertEqual(db.is_chapter_saved(xchapter_id='7lqcoydR9AdMs5iq0oQwLQ2'), True)
self.assertEqual(db.is_chapter_saved(chapter_name='第237章 渡鸟之爪', xbook_id='1007994514'), True)
self.assertEqual(db.is_chapter_saved(xchapter_id='??'), False)
self.assertEqual(db.is_chapter_saved(chapter_name='??', xbook_id='1007994514'), False)
self.assertEqual(db.is_chapter_saved(chapter_name='??', xbook_id='??'), False)
def test_is_free_chapter(self):
db = DBUtil()
self.assertEqual(db.is_free_chapter(xchapter_id='7lqcoydR9AdMs5iq0oQwLQ2'), True)
self.assertEqual(db.is_free_chapter(chapter_name='上架感言', xbook_id='1007994514'), True)
self.assertEqual(db.is_free_chapter(xchapter_id='378925041'), False)
self.assertEqual(db.is_free_chapter(chapter_name='第237章 渡鸟之爪', xbook_id='1007994514'), False)
self.assertEqual(db.is_free_chapter(xchapter_id='??'), False)
self.assertEqual(db.is_free_chapter(chapter_name='??', xbook_id='1007994514'), False)
self.assertEqual(db.is_free_chapter(chapter_name='??', xbook_id='??'), False)在命令行中执行 python -m unittest tests.test_dbutil （注：test_dbutil在tests文件夹下）
通过我的爬取发现，起点在对几千章的小说目录进行了异步展示，而几百章的小说目录仍然是同步展示，直接抓取会导致抓不到章节目录。很皮。
2.JulyNovel需要在爬取书籍时判断这些书籍、章节是否能正确按照规则被解析
pass
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2018-03-16 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
腾讯云开发者
