学习
实践
活动
专区
工具
TVP
写文章

大中型网站列表翻页过多怎么优化?

稍大型的商务或信息类网站都可能会在产品列表,也就是最末一级的分类页面上,存在翻页过多的问题。 通常产品列表会显示10个或20个产品,然后列出翻页链接,除了“上一页”和“下一页”,网站可能列出5个、10个翻页链接。图片用户点击页面10,在第10页上又会列出10-19页的翻页。 如果列出10个翻页链接,那么第50个页面上的产品就需要从第一个产品列表页面点击4次才能到达,再加上分类页面本身与首页的距离,第50个页面上的产品距离首页可能有七八次点击的距离了。 如果列出10个翻页链接,那么第50个页面上的产品就需要从第一个产品列表页面点击4次才能到达,再加上分类页面本身与首页的距离,第50个页面上的产品距离首页可能有七八次点击的距离了。 大中型网站产品数量过多,列表翻页过多可能会造成重复收录的情况,所以现在很多网站在产品列表页都有自动加载功能,当用户鼠标滑动到列表页最底部的时候,会自动加载更多的产品。

8520

selenium 之百度搜索,结果列表翻页查询

selenium之百度搜索,结果列表翻页查询 by:授客 QQ:1033553122 实例:百度搜索,结果列表翻页查询 解决问题:解决selenium driver获取web页面元素时,元素过期问题 思路 1:获取所有“页面翻页链接”元素,然后遍历元素并点击 # -*- coding: utf-8 -*- from selenium import webdriver import time if __name () page = driver.find_element_by_id('page') pages = page.find_elements_by_tag_name('a') #查找所有翻页跳转链接 这就说明,当前页面发生跳转之后,存在cache中的与这个页面相关的元素也被清空了 思路2:基于思路1的错误结果分析>先获取每个页面数,然后每次点击某个页面,跳转后重新获取下一个页面翻页链接,然后点击,循环 ,前翻页翻页) # -*- coding: utf-8 -*- from selenium import webdriver import time if __name__ == "__main__"

74420
  • 广告
    关闭

    热门业务场景教学

    个人网站、项目部署、开发环境、游戏服务器、图床、渲染训练等免费搭建教程,多款云服务器20元起。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Java数据采集-5.获取CSDN个人博客列表翻页-1)

    本博客继上篇,针对第一种翻页加载数据的方式,编写实际代码演示。 因第三讲以详细介绍如何解析各个节点,之后教程不在详细截图说明分析过程,可根据我使用的css规则,自行对比分析。 items.size()); 获取id=article_list下的div子标签 注意 “>”的用法,有id时首选id作为选择器 解析总页数 上篇博客已经分析,此类型网页我们需要获取到总页数,然后循环所有的列表页 PS:我就是为了装逼才使用的正则表达式… 遍历所有的列表页 String url = "http://blog.csdn.net/TMaskBoy/article/list/"; for(int current_page System.out.println("-------------------第" + current_page + "页结束-------------------------"); } 解析列表页数据 本段代码即为上一段中的getData函数内容,获取每一个列表页,然后解析每一条数据,和第三篇博客相似,不在详细展示分析过程。

    11320

    DEDE列表翻页显示竖向效果,修改为横线显示效果的方法

    在仿站的时候,我曾经遇到好几次翻页处明明跟仿的对象站一模一样的代码,然而翻页显示个竖向效果,长长的,极其不美观.我们就先看译文,打开你列表,查到源文件翻页处是否带有

  • 标签,如果带有
  • 标签说明 ,原因就出在这里,查看列表模板翻页处的时候根本看不到
  • 标签的存在,然后更新列表,查看源文件就出来了,说明这个翻页处的标签已经在默认翻页效果里添加了
  • 标签,所以我们要删除
  • 标签.DEDE 列表翻页显示纵向翻页效果,修改为横线显示效果的方法如下 1. (列表翻页效果修改)找到/include/arc.listview.class.php 查找:
  • 全部替换为”空” 查找:
  • 全部替换为”空” 查找:<li class=\”thisclass 这样修改完之后保存再更新列表看看,列表是不是转为横向显示了,再查看源文件,是不是没了
  • 标签.

    40430
  • Web Scraper 翻页——利用 Link 选择器翻页 | 简易数据分析 14

    今天我们还来聊聊 Web Scraper 翻页的技巧。 这次的更新是受一位读者启发的,他当时想用 Web scraper 爬取一个分页器分页的网页,却发现我之前介绍的分页器翻页方法不管用。 我研究了一下才发现我漏讲了一种很常见的翻页场景。 在 web scraper 翻页——分页器翻页的文章里,我们讲了如何利用 Element Click 选择器模拟鼠标点击分页器进行翻页,但是把同样的方法放在豆瓣 TOP 250 上,翻页到第二页时抓取窗口就会自动退出 通过 Element Click 点击分页器翻页,只适用于网页没有刷新的情况,我在分页器那篇文章里举了蔡徐坤微博评论的例子,翻页时网页是没有刷新的: 仔细看下图,链接发生了变化,但是刷新按钮并没有变化 1.创建 Sitemap 本篇文章就来讲解一下,如何利用 Web Scraper 抓取翻页时会刷新网页的分页器网站。

    61960

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 人脸核身

      人脸核身

      腾讯云慧眼人脸核身(原金融级身份认证升级版)是一组对用户身份信息真实性进行验证审核的服务套件,提供各类认证功能模块,包含证件OCR识别、活体检测、人脸1:1对比、及各类要素信息核验能力,以解决行业内大量对用户身份信息核实的需求,广泛应用于金融、保险、政务民生、互联网、交通出行等领域。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券