Java数据采集-5.获取CSDN个人博客列表（翻页-1）

本博客继上篇，针对第一种翻页加载数据的方式，编写实际代码演示。 因第三讲以详细介绍如何解析各个节点，之后教程不在详细截图说明分析过程，可根据我使用的css规则，自行对比分析。

废话不多说，开始撸代码。

• 模拟Url请求，获取节点

获取id=article_list下的div子标签 注意 “>”的用法，有id时首选id作为选择器

• 解析总页数 上篇博客已经分析，此类型网页我们需要获取到总页数，然后循环所有的列表页。

上述代码使用正则表达式获取总页数和总记录数，也可以使用String的字符串查找和截取刷选。PS：我就是为了装逼才使用的正则表达式…

• 遍历所有的列表页

• 解析列表页数据 本段代码即为上一段中的getData函数内容，获取每一个列表页，然后解析每一条数据，和第三篇博客相似，不在详细展示分析过程。对于零散的数据，此处使用正则表达式匹配，同样String截取也可以。

最后po上效果图：

这里写图片描述

仓库：https://github.com/geekfly2016/Spider 代码目录：Spider/src/xyz/geekfly/get_list/CSDN_BLOG.java