首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python爬虫的强大你想象不到!带你爬虫Tumblr视频图片

各位小伙伴们肯定都用过社交软件,Tumblr是全球最大的轻博客网站,是最热门的社交平台之一。在Tumblr平台上,你可以关注自己感兴趣的人和博客。因为Tumblr平台上内容的多姿多彩,丰富多样,常常吸引人们关注和欣赏。

当然,最主要的还是能看到一些有趣的图片和视频嘛~荷尔蒙燃烧!今天我们就来看看,如何使用python爬虫Tumblr的视频和图片。

python爬虫Tumblr

python爬虫大概的思路:首先,你需要构建url地址,url地址中需要说明资源类型:如图片或者视频,因为不同的类型提取的操作是不一样的,然后,大家也有用python爬虫的经验了,直接看如下的代码吧。

python爬虫Tumblr

然后,大家看完这段python爬虫代码会发现,这段python爬虫程序需要你输入一个字符串,这个字符串其实就是Tumblr博主的名字。在构建url请求爬虫的时候需要博主的name,然后请求这个博主对应的url地址,最后从这个地址获取视频和图片。

最后,在成功进行爬虫之后,我们可能会发现有很多重复的图片(这段python爬虫肯定会有重复图片,因为没有去重),那是因为url地址中有很多不同尺寸的图片,所以爬虫结果会有重复。

那么,最后的最后,这段python爬虫的速度比较慢,毕竟国内访问外网的速度,实在是让人头疼。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200611A0GC4X00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券