Java爬虫

小颜同学

发布于 2023-08-24 08:12:48

1550

发布于 2023-08-24 08:12:48

文章被收录于专栏：原创笔记原创笔记

在日常生活中，我们最先想到的爬虫是Python，它的确是一个非常方便且快捷易上手的，但我们是否能用Java来实现python这一功能呢，让我们一起来看看~

导入Jar包

需要用到Jsoup这个包导入即可

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.8.3</version>
</dependency>

分析网页

先浏览器进去网址，F12看看，找找规律

发现这地址在

的 a标签里，这个时候通过标签选择器定位到这个a标签

String html = "";

Document document = Jsoup.connect(html).get();

Elements elements = document.select("div.g_box1 > ul > li > a");//此处是所有a标签的集合

然后再遍历elements获取到这个a标签的href属性通过拼接地址得到想要的每个页面的完整链接

https://m.jieseba.org//a/4149.html

for (Element element:elements){

    String d_url = element.attr("href");

    System.out.println("详情页链接：https://m.jieseba.org/"+d_url);//这个就是网页内容的链接地址

}

这个时候看一下详情页的内容，想要的数据都在类为txt1的div下的p标签里，再想上面一样，定位到这个p标签

Document doc = Jsoup.connect("https://m.jieseba.org/"+d_url).get();
Elements select = doc.select("div.g_con > div.txt1 > p");//定位到P标签 此时是P标签集合

定位到P标签之后还是跟上面的步骤一样，循环输出就可以了

for (Element ele : select) {

    String index = ele.ownText();
    System.out.println(index);

}

完整代码

package cn.3zi.www;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


public class GrabUrl {

    /**测试*/
    public static void main(String[] args) throws Exception {

        String html = "https://m.jieseba.org/a/jzbj_1.html";

        Document document = Jsoup.connect(html).get();

        Elements elements = document.select("div.g_box1 > ul > li > a");

        for (Element element:elements){

            String d_url = element.attr("href");

            System.out.println("详情页链接：https://m.jieseba.org/"+d_url);

            Document doc = Jsoup.connect("https://m.jieseba.org/"+d_url).get();
            Elements select = doc.select("div.g_con > div.txt1 > p");

            for (Element ele : select) {

                String index = ele.ownText();
                System.out.println(index);

            }

        }

    }

}

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2022-09-26 ，如有侵权请联系 cloudcommunity@tencent.com 删除

java