声明:仅用于学习交流,请勿用于任何商业用途!感谢大家!
分析:以数码电器板块为例
查看该板块的每一页的URL:
注意到第一页是“0-1.html”,第二页是“0-2.html”,由此可找到规律。
2.查看缩略图片的URL,使用F12开发者工具,通过element选项卡中的工具对网页div进行不断展开,找到图片真正的地址:
例如:
比较缩略图与高清图的URL对应关系,即可得出结论,高清图URL=至“.jpg!”的缩略图URL+“一陀代码”
4.编写代码:
遇到的问题:
1)千图网需登录才能看到高清大图的URL。
2)千图网为对高清大图进行了裁剪,可能分为了多个小部分图片。
3)查看网页源代码的缩略图URL与Python爬取的URL可能会不一致,具体原因可能是因为登录导致的。
结果:
领取专属 10元无门槛券
私享最新 技术干货