高清图片爬取了解一下

https://zhuanlan.zhihu.com/p/35045810 感兴趣的可以看看。

当然这对于我们普通人而言几乎没有什么影响。但我们要知道图片版权这回事。

今天带大家爬取的图片网站是:https://unsplash.com/

这里的图片没有版权,你可以随便使用。而且这里面的图片质量都特别高。我的一些图片都是从这上面找的

Ajax加载图片

第一步,请求网页

我们打开网站,下拉页面发现不断加载图片,但是整个页面没有刷新,也就是页面的链接没有变化。其实这个过程就是Aiax加载的过程。

Ajax请求有特殊的类型,它叫做 xhr ,我们打开开发者工具或者按 F12键,切换到Network。

下方切换到 XHR 这里面都是经过Ajax加载的。我们往下多点几个链接发现,下方的三个参数只有 page 在变化,于是我们可以构造这个参数。来提交请求。

第二步:解析网页并得到图片链接

接着切换到Prereview选项卡,看到返回的是json数据。继续找发现图片链接在 download 里面,我们复制一个链接在浏览器里打开发现分析的没错。

接下来,再实现一个解析方法:提取每条数据的links字段里的download,将图片的链接返回。

最后保存到本地

总结

承认自己还有许多不足,代码还有许多可以改进的地方

本文还可以扩展,比如说实现指定关键字work,beauty,nature 等下载图片

代码不是一下子就写出来的,要经过不断调试,出错是很正常的,不断地发现错误并解决才能有所进步。学习的过程中善用搜索引擎,多思考。希望与你一同学习。

原创不易,觉得不错点个赞再走呗。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20180716G0WB8200?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

同媒体快讯

扫码关注云+社区

领取腾讯云代金券