思路是 访问主页面 获取当前页面每一个模特的主页url, 在模特的主页 获取个人信息以及头像保存好,同时获取个人相册地址
接着上面的函数继续写就OK了,代码如下:
代码逻辑什么的也挺合理的,但是现在问题来了,代码运行之后,显示如下:
即
这样就能正常访问了
3.获取个人信息
个人主页能够访问了,那么我们接下来就获取MM的一些个人信息了
运行结果:
不过本文也有几个缺点:
1.只是利用单线程爬去,所以爬取比较慢
2.没有设置控制功能
3.缺少选择功能
4.没有图形显示功能
但是用这个代码拿来练手,或者学习爬虫的逻辑思维是很不错的选择
代码如下:
运行结果:
pip install selenium
再windows下面, 当调用 os.makedirs(img_path) 去创建目录的时候,她会把目录名字 “2016年春夏韩国...” 自动省略为“2016年春夏韩国”
也就是说末尾的三个句号被省略了,但是在这个字符串后面随便加点什么的话,就OK了
整体代码如下:
谢谢阅读!!!
领取专属 10元无门槛券
私享最新 技术干货