首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python爬虫翻页方式 1

python爬虫翻页不会?不存在的。

很多初学python爬虫的小伙伴们都会遇到python爬虫翻页的问题,我在这里先介绍一种。

实践出真知,前几天有朋友说她(女性朋友,没想到吧)的导师让她整理一份资料。她便让我帮她整理一下那些资料。

在写爬虫的过程中,我也遇到了翻页的问题。

需要爬取的网站如图所示:

查询的这种植物有四页。当我们平时翻页时,首先想到肯定是点击页面上的下一页,写爬虫也是如此,想提取页面上的链接进行访问。

不过我告诉你,这样做很麻烦,并且效率很低。没人用!!!

翻页的方式一般有两种:

1、观察网站翻页时链接变化

2、如果写爬虫的请求方式是post方式请求,则需要观察post的数据的变化是否有规律

今天讲得是第一种方法

如图,当我点击下一页时,观察到地址栏的链接变化

在链接中我们可以惊喜的发现,有page关键字,而且恰好为2,我们试验一下,将链接中page的值改为3,发现正常访问,正好是第三页。因此,我们找到了翻页方式,更改链接中关键字的值

因此翻页过程步骤为:

1、获取总网页数目

2、利用for循环改变page的值,进行翻页。

具体翻页代码实现如下:

获取总页码

网络请求方式

翻页代码,改变请求头中的page数值

想要获取所有代码的可以私信我,大家共同学习。

码字不容易,大家多关照。

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180223A1A4VY00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券