Java|“ Java”来爬取小说章节

package com.yellow.java_pachong.book;

 

import us.codecraft.webmagic.Page;

import us.codecraft.webmagic.Site;

import us.codecraft.webmagic.Spider;

import us.codecraft.webmagic.processor.PageProcessor;

import  us.codecraft.webmagic.selector.Html;

import  us.codecraft.webmagic.selector.Selectable;

 

import java.io.File;

import java.io.FileNotFoundException;

import java.io.FileOutputStream;

import java.io.PrintWriter;

import java.util.ArrayList;

import java.util.List;

 

/**

 *  爬取起点小说

 */

 

public class GetQidianBook implements  PageProcessor {

     //设置带爬取文件的相关配置

     private Site site = Site.me()

            .setCharset("utf-8")//设置字符集

            .setTimeOut(1000)//设置超时时间

            .setSleepTime(1000);//设置休眠时间

     //书的名字

String bookName1 = "";

 

     @Override

     public Site getSite() {return site;}

     //爬取数据逻辑

     //第一级URL     https://www.qidian.com/xuanhuan     获取书栏目录

     //第二级    https://book.qidian.com/info/1019251979#Catalog    章节目录

     //第三级    https://read.qidian.com/chapter/SaT8jsiJD54smgY_yC2imA2/oQbX6YtwB_NOBDFlr9quQA2    章节内容

     @Override

     public void process(Page page) {

         //获取URL

         Selectable table = page.getUrl();

         //System.out.println(table);

         //URL匹配     用.{23}去代替字符匹配，每个章节的后缀不一样

         if  (table.regex("https://read.qidian.com/chapter/.{23}/.{23}").match())  {//文章章节页面

            //获取html页面信息

            Html html = page.getHtml();

             //打印html

            //System.out.println(html);

            //章节标题

            String title = "";

            //内容集合

            List<String> content = new  ArrayList<String>();

            //抓取有用信息

            //判断是否是第一章

            if  (html.xpath("/html/body/div[2]/div[3]/div[2]/div[1]/div[1]/div[1]/div[1]/h1/text()").toString()  != null) {//是第一章

                //获取书名

                bookName1 =  html.xpath("/html/body/div[2]/div[3]/div[2]/div[1]/div[1]/div[1]/div[1]/h1/text()").toString();

                 //System.out.println(bookName);

                //获取章节名

                title =  html.xpath("[@class='main-text-wrap']/div[1]/h3/span/text()").toString();

                //System.out.println(title);

                //获取文章内容

                content =  html.xpath("[@class='main-text-wrap']/div[2]/p/text()").all();

            } else {//不是第一章

                //获取章节名

                title =  html.xpath("[@id='j_chapterBox']/div[1]/div[1]/div[1]/h3/span/text()").toString();

                 //获取文章内容

                content =  html.xpath("[@id='j_chapterBox']/div[1]/div[1]/div[2]/p/text()").all();

            }

            //存到本地

            downBook(bookName1, title,  content);

         }else if(table.regex("https://book.qidian.com/info/\\d{10}#Catalog").match()){//书的章节目录

            //获取每一章节的地址,在章节目录里每一章的xpath

            List<String> url =  page.getHtml().xpath("[@class='volume-wrap']/div[1]/ul/li/a/@href").all();

            //加入待爬取序列

             page.addTargetRequests(url);

         }else{//一级url

            //获取Html页面

            Html html = page.getHtml();

            //解析出每本书的url

            List<String> url =  html.xpath("[@id='new-book-list']/div/ul/li/div[2]/h4/a/@href").all();

            //拼接成完整的路径

            List<String> url2 = new  ArrayList<String>();

            for (String string : url) {

                url2.add(string +  "#Catalog");

            }

            //加入待爬取序列

            page.addTargetRequests(url2);

         }

    }

     //将书存入本地

     private void downBook(String bookName2, String title,  List<String> content) {

         //判断目录存不存在

         File file = new File("D:/book.xuanhuan/" + bookName2);

         if(!file.exists()){

            //如果不存在目录，则创建目录

            file.mkdirs();

         }

         PrintWriter pw = null; //使用IO流

         try {

            //存为txt文件及其路径

            FileOutputStream fos = new  FileOutputStream("D:/book.xuanhuan/" + bookName2 + "/" +  title + ".txt");

            pw = new PrintWriter(fos,true);

            for (String string : content) {

                pw.println(string);

            }

            //爬完一章打印

            System.out.println(title + "  " + "爬取完毕");

         } catch (FileNotFoundException e) {

            e.printStackTrace();

         } finally {//关流

            pw.close();

         }

     }

     //创建线程

     public static void main(String[] args) {//爬取了玄幻类的书

         Spider.create(new  GetQidianBook()).thread(1).addUrl("https://www.qidian.com/xuanhuan").run();

     }

}