python下载小说

采用了requests库,代码修改一下文件存放的文章,以及添加一下小说目录就可以使用. 代码百度云

# -*- coding: utf-8 -*-
"""
Created on Fri May 11 08:39:52 2018

@author: dflx
"""

import requests
import re
import time
import os
import requests.packages.urllib3.util.ssl_
requests.packages.urllib3.util.ssl_.DEFAULT_CIPHERS = 'ALL'
import urllib3.contrib.pyopenssl
urllib3.contrib.pyopenssl.inject_into_urllib3()

def get_html(url):
    header ={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.90 Safari/537.36 2345Explorer/9.3.2.17331',
}
# 使用request库传参时不需要使用urlencode函数去编码成byte类型数据,库自动去编码。get方法参数是params=,post方法是data=
    response = requests.get(url,headers = header,verify=False)
    response.encoding=response.apparent_encoding
    html=response.text
    return html

def novel_information(html,reg):
    novel_text=re.findall(reg,html)
    #print(novel_text)
    return novel_text

def get_regular_text(text):
    global count
    print("------get rgulax text----")
    #print(type(text[0]),'length=',len(text))
  
    new_word=text
    if ' ' in text[0]:
        new_word=re.sub(r' ',' ',text[0])
    print(type(new_word),'length=',len(new_word))
    if '<br />' in new_word:
        new_word=re.sub(r'<br />','\n',new_word)
    count+=len(new_word)
    return new_word

def get_onechapter(url):
    html = get_html(url)
    re1 = r'<h1>(.*?)</h1>'
    re2 = r'<div id="content">(.*?)</div>'
    novel_chapter_name = novel_information(html, re1)
    text = novel_information(html, re2)
    print("下载:------",count)
    print(novel_chapter_name)
    chapt_text="                "+novel_chapter_name[0]+'\n'+get_regular_text(text)
    return chapt_text
    
def download_onechapter(words):
#下面是文件存目录,修改你的路径
    path="/home/dflx/下载/novel/永夜君王.txt"
    with open(path,'a+',encoding="utf-8") as f:
        for word in words:
            f.write(word)
        f.write('\n')
        
def chapter_all(url,re3,host):
    html=get_html(url)
    #print(html)
    chapter_list=novel_information(html,re3)
    print("length=",len(chapter_list),type(chapter_list))
    chapters=[host+ i for i in chapter_list]
    chapters=[i+'.html' for i in chapters]
    print(chapters)
    #print(chapters.index("https://www.xxbiquge.com/68_68479/4010677.html"))
    return chapters


def download_novel(url_all):
    #for index in range(472,len(url_all)):
    for chapt in url_all:
        try:
            words=get_onechapter(chapt)
            download_onechapter(words)
        except Exception:
            continue
        finally:
            print("GOTO ANOTHER CHAPTER")

    
count=0;
def  main():
    host="https://www.xxbiquge.com"
#下面是小说目录界面,可以打开参考一下,修改成你需要的.
    url0="https://www.xxbiquge.com/1_1797/"
    re3=r'<dd><a href="(.*?).html"'
    start=time.clock();
    try:
        all=chapter_all(url0,re3,host)
        download_novel(all)
    except Exception as e:
        print("has error"+str(e))
    finally:
        end=time.clock()
        print("总计用时:%.2f s"%(end-start))

图片.png

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏木子昭的博客

Django快速分页在后端(视图函数中)在前端(html模板中)

分页 在web开发中,对大量的商品进行分页显示,是常见的需求,django对分页直接提供了现成的函数,让我们的开发更为快速便捷... 动图_Django快...

45490
来自专栏python爬虫实战之路

12306自动刷票下单-下单

进入下单界面了 https://kyfw.12306.cn/otn/confirmPassenger/initDc

25550
来自专栏Jack-Cui

Python3网络爬虫(四):使用User Agent和代理IP隐藏身份

运行平台:Windows Python版本:Python3.x IDE:Sublime text3 一、为何要设置User Agent     有一...

649100
来自专栏数据结构笔记

利用简书图片上传功能搭建快速免费的图床

后来发现简书的写文章页面可以上传图片,于是萌生了利用简书的图片上传功能来搭建一个图床的想法。

43430
来自专栏九彩拼盘的叨叨叨

BOM 操作写法示例

12720
来自专栏Hadoop实操

如何在HP dl380 Gen9服务器上安装Redhat 7.2并配置软RAID

在《如何为服务器硬盘配置RAID或JBOD模式》一文中提到,单张RAID卡无法同时启用RAID模式和JBOD模式,即无法混合管理,如果RAID卡为所有硬盘配置了...

1.9K30
来自专栏架构师之路

一张图看懂单机部署+集群部署+热备部署与磁盘阵列(RAID)

一张图看懂单机部署+集群部署+热备部署与磁盘阵列(RAID) ? 单机部署 集群部署 热备部署 单机部署(stand-alone):只有一个饮水机提供服务,服...

36050
来自专栏GIS讲堂

jquery自定义插件实现分页效果

下面说说实现思路。实现分页效果,数据的加载可以分为两种情况:一次性获取数据和动态获取数据。一次性获取数据就是将所要查询的数据一次性查询出来,在前台去做分页...

13320
来自专栏肖洒的博客

【爬虫】(一):爬网页、爬图片、自动登录

HTTP是Hyper Text Transfer Protocol(超文本传输协议)的缩写。 用于从WWW服务器传输超文本到本地浏览器的传送协议。

14630
来自专栏高性能服务器开发

+从零实现一款12306刷票软件1.2

当然,这里需要说明一下的就是,由于全国的火车站点信息文件比较大,我们程序解析起来时间较长,加上火车站编码信息并不是经常变动,所以,我们我们没必要每次都下载这个s...

22520

扫码关注云+社区

领取腾讯云代金券