首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

花瓣简单的爬虫-03

人生苦短,我用Python!

运行效果

最近学习遇上瓶颈啊~

记录一下

这是简单的爬虫程序,用到urllib和re以及os、time

后期版本再加:真的动态加载,cookie登录,多线程优化

下面放代码

思路:和PYTHON爬虫-01的获取原理是一样的(不解释),不同之处在于能够手动输入页数,然后动态的加载相应页数的瀑布流的图片并进行下载(伪动态!) 获取PINS_ID之后获取列表最后的元素,并用格式输入讲MAX_ID放进URL之中,进行数次(输入的页数)循环之后获取最后的pins最后补全并使用urlretrieve()下载图片,程序最后显示运行时间以及下载张数,算是PYTHON爬虫-01更新版本。

不足之处:只是静态页面爬虫+伪动态加载;没有多线程优化,因此效率很低;没有简单的cookie登陆账号,没有使用XPath,值得深挖!

【完】

PS:代码入门级别,用作个人记录使用。

2018年3月27日 二月十一

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180327G19ZUB00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券