上次说到了抓取单个页面的图片,但是对于我这样的死宅萌图爱好者,一个页面一个页面地抓也还是太累了,所以就诞生了更粗暴的工具。额,具体怎么对应在https://h.bilibili.com/d找,总之是海量图片。
基本思路:获取页面下图片链接地址,再将地址进行解析最后出图。
因为网站采取了异步加载的策略,所以我们先通过开发者工具找到页面发送的所有请求,然后筛选XHR部分,而且根据返回的信息看的确是页面的每个绘画项目的链接ID,于是我们将这些ID批量获取并组装成地址,如https://h.bilibili.com/1234567这样的,其中的ID就是最后面的数字。
然后有了这些地址,我们再通过之前的方法批量发送请求,就可获得所有图片了。
以下是实例效果,因为获取内容过多,所以我将浏览器页面进行了强制缩放。
再点击“一键下载”就可以批量下载下来了,就是这么方便~
觉得应该再加个取消预览的功能吧,总觉得页面不够用了,可以以文字形式汇报爬取结果的。恩,有空再添加吧。
领取专属 10元无门槛券
私享最新 技术干货