学习
实践
活动
专区
工具
TVP
写文章

爬虫如何抓取网页的动态加载数据-ajax加载

本文讲的是不使用selenium插件模拟浏览器,如何获得网页上的动态加载数据。步骤如下: 一、找到正确的URL。二、填写URL对应的参数。三、参数转化为urllib可识别的字符串data。 五、urlopen这个Request对象,获得数据。 如果直接抓浏览器的网址,你会看见一个没有数据内容的html,里面只有标题、栏目名称之类的,没有累计确诊、累计死亡等等的数据。因为这个页面的数据动态加载上去的,不是静态的html页面。 需要按照我上面写的步骤来获取数据,关键是获得URL和对应参数formdata。下面以火狐浏览器讲讲如何获得这两个数据。 肺炎页面右键,出现的菜单选择检查元素。 ? 这里会出现很多网络传输记录,观察最右侧红框“大小”那列,这列表示这个http请求传输的数据量大小,动态加载数据一般数据量会比其它页面元素的传输大,119kb相比其它按字节计算的算是很大的数据了,当然网页的装饰图片有的也很大

1.9K30
  • 广告
    关闭

    热门业务场景教学

    个人网站、项目部署、开发环境、游戏服务器、图床、渲染训练等免费搭建教程,多款云服务器20元起。

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    动态网页常用的两种数据加载方式ajax和js动态请求

    但是你会发现,在翻页的过程中,页面的url并没有发生变化,这说明这个表格中的数据动态加载的。 目前,常用的动态加载技术有以下两种 1. ajax 2. js 通过构建ajax或者js请求,来获得对应的数据。 对于这些动态加载数据,我们就不能只请求网页的url了,而是需要找到上述两种请求的链接,一些简单的动态加载链接,可以通过浏览器的调试工具来快速查找 1. ajax ajax请求通过network选项中的 直接用爬虫或者ajax链接,就可以返回对应的数据了。 2. js动态加载 js请求通过network选项中的js请求来进行查找,在下列网站中,其翻页的数据就是通过js请求来动态加载的 https://finance.sina.com.cn/stock/reportch

    1.5K20

    Ajax与jQuery异步加载数据

    简介 一次性从服务器数据库中读取数据并传送到前端页面上是不现实的,一方面会加重服务器的压力,另一方面客户的带宽资源也会被占用。Ajax刚好可以解决数据异步加载的问题。 Ajax 即“Asynchronous Javascript And XML”(异步 JavaScript 和 XML),是指一种创建交互式、快速动态网页应用的网页开发技术,无需重新加载整个网页的情况下 数据 (document).ready(function(){})指页面其他元素加载完成后开始加载Ajax数据,此时,浏览器不会有加载条和转圈的情况出现。 .getJSON(‘/ajax_server/’,function(ret)指从Django的view.py中的函数ajax_server读取JSON数据数据通过(‘#demo’).append(ret 一个被完整读入的页面与一个已经被动态修改过的页面之间的可能差别非常微妙;用户通常都希望单击后退按钮,就能够取消他们的前一次操作,但是在Ajax应用程序中,却无法这样做。

    25220

    Android WebView不能加载ajax?加载ajax无效?

    Android WebView不能加载ajax?加载ajax无效? !苹果或高版本的安卓webview可能会有跨域被拦截的问题,需要在服务端允许跨域。 true); 3、在高版本的时候我们是需要使用允许访问文件的urls: webView.getSettings().setAllowFileAccessFromFileURLs(true); 4、我们在加载页面的时候 ,如果使用的是WebView.loadDataWithBaseUrl(baseUrl,str,mime,scode,historyUrl)这个加载数据的时候; 这里我们是需要查看一下前端的ajax请求数据的时候 ,是否使用的是相对路径(这里非常重要),如果是的话,我们的baseUrl,我们是需要写上我们的主机名的,否则ajax是不会执行的; 5、如果上面的方法还是不行的话,我们可以将webView的缓存给禁用, 模拟标签点击的效果(亲测无效) 参考链接: Android WebView不能加载ajax?加载ajax无效?

    12620

    Echarts动态加载后台数据

    注意:1、用Ajax请求获取后台数据 2、Echarts只能处理Json数据 后台Controller:根据业务需求不同而返回不同数据,我前台要循环遍历Echarts的series进行数据添加,所以后台返了个二维数组过去 前端JS:初始化时即加载Echarts,将不需要进行加载的配置项(例如title、tooltip等)不作改动,将需要动态加载数据的配置放入ajax的success:function(){}中进行处理。 定义一个为series这个即将动态加入数据的配置项准备的名为Item的数组容器, 接着对后台返回过来的数据(childkind)进行遍历,将遍历出的数据赋给容器中的相应属性(例:tp.name=childkind 由于series里面的data属性(接收的是数组数据)也需要进行数据动态加载,接着再定义一个list数组,循环写入数据到list中,再将list数组返给tp.data。

    2.9K50

    使用 Cesium 动态加载 GeoJSON 数据

    前言 需求是这样的,我需要在地图中显示 08 年到现在的地震情况,地震都是发生在具体的时间点的,那么问题就来了,如何实现地震情况按照时间动态渲染而不是一次全部加载出来。 一、 方案分析 这里面牵扯到两个问题:第一个是如何加载 GeoJSON 格式的数据,其实也就是矢量数据,因为矢量数据之间是可以任意转换的;第二个是如何让加载数据根据自身的时间显示。 所以就有两种解决问题的思路了:第一种,一次加载 GeoJSON 中所有数据,然后逐个设置显示时间;第二种,逐个加载 GeoJSON 中数据,并设置每个对象的显示时间。 2.1 加载 GeoJSON 数据 在Cesium基础使用介绍一文中已经介绍了如何加载多种格式矢量数据加载 GeoJSON 数据已经写出了两种方式,第一种是整体读取的,明显无法满足我们的需求,那么就只能寻求第二种方式了 三、 总结 本文简单介绍了如何动态的根据时间加载 GeoJSON 对象,一定要保持深度思考的习惯,凡事不能只看到表面,应该多一些深入的思考。

    3K50

    wordpress实现 ajax 分页加载

    我们只需要在AJAX 执行的过程中向后台传递一个分页参数,就可以返回这个分页上的文章列表。再返回文章列表的时候,我们还需要返回下一分页的页码,当然如果不是最后一页的话。 ''; return $post_section; } 这个是ajax 加载列表的服务器端函数,无需修改。 add_action('wp_ajax_nopriv_fa_load_postlist', 'fa_load_postlist_callback'); add_action('wp_ajax_fa_load_postlist > js代码,需要加载jquery库,方法就不说了。 o(∩_∩)o'); _self.addClass('is-loading'); jQuery.ajax({ url: '/wp-admin/admin-ajax.php

    45820

    AJAX中的同步加载与异步加载

    HTML5学堂:在AJAX知识当中,有几个经典的辨析,“同步加载”与“异步加载”的区别;post与get的区别;XML与JSON的区别等。 什么是AJAX AJAX是四个单词的简写,其中Asynchronous即异步的意思,异步的链接可以同时发起多个,并且不会阻止JS代码执行。 与之对应的概念是同步,同步的链接在同一时刻只会有一个,并且会阻止后续JS代码的执行,JS必须等待同步链接加载完毕后才能继续执行。AJAX发展到现在,不但可以发起异步链接,也可以发起同步链接。 最后一个词XML,实际上是一种常见的数据结构,他和HTML一样都是标记语言,但是它的标签名能够自定义。由于XML解析速度较慢,慢慢被新兴的JSON所取代。 异步加载优于同步加载的特点 1.浏览器可以从服务器同时请求多项内容; 2.浏览器请求返回的速度会快得多; 3.只有页面中真正改变的部分得到更新; 4.能够减少服务器数据流量; 5.用户可以在页面更新的同时继续工作

    1.5K60

    WordPress评论ajax动态加载,解决静态缓存下评论不更新问题

    一、自动动态加载评论 这是我最初想到的、而且是老早就想实现一种方案:当静态的 html 页面加载时,评论部分实时从数据动态拉取数据,由于是纯静态下的 html 页面,所以这个功能需要 JS+Ajax 部署无误之后,每次页面加载都会动态去拉取一次最新的评论,并呈现给用户。 二、手动动态刷新评论 这个方法灵感源自网络上流行的评论分页 Ajax 加载:点击评论的下一页,不会刷新整个页面,而是通过 ajax 拉取被点击那个分页的全部内容,然后找到评论部分并加载。 函数,先隐藏当前分页的所有评论,然后 ajax 拉取第 99 页的内容,然后将评论部分加载出来,实现不刷新页面来加载评论。 也就说,浏览器直接访问带comment-page-xx这类关键词的地址,就略过缓存,加载动态内容! ? 因此,当我们部署了 ajax 评论分页,点击其他分页将会显示非缓存内容!

    1.2K60

    动态加载控件

    参考文章:http://blog.csdn.net/yicko/archive/2005/04/16/349740.aspx 1、加载的是普通的控件,不是用户控件。 4、自动具备ViewState,但其加载时间是在page_load 和控件事件响应之间。所以,在Page_load事件中,不能获得动态控件的状态。 但在将页回发到服务器时,先在 Page.Init 事件中实例化非动态控件(在页上定义)并加载视图状态信息,然后才能重新创建(通常在 Page_Load 处理程序中)动态控件。 因此在动态控件创建之前,视图状态将暂时不与页的控件同步。在运行 Page_Load 事件之后,调用控件事件处理方法之前,将保持的视图状态信息加载动态创建的控件中。 如果在现有控件之间插入动态控件,该动态控件的视图状态信息将插入到视图状态结构的相应位置。在发送页并加载视图状态时,动态控件还不存在;因此,视图状态中的附加信息将不会对应于正确的控件。

    42570

    Pbcms Ajax 无刷新加载内容

    前段时间,群里有位同学问起 Ajax 加载的问题,这个不属于模板制作系列教程的内容,因此单独再出一个使用技巧系列的教程。 Ajax 无刷新加载内容,看起来高大上一点,但是对 SEO 是不太友好的,所以在使用的时候应该有个取舍。 由于 PbootCMS 的 api 接口的存在,在 PbootCMS 上实现 Ajax 加载还是比较方便的。 一、点击更多按钮加载内容 1、首先,添加一个按钮用来触发事件。 var url = '/api.php/list/3/page/' + Page + '/num/' + Num;          //开始Ajax提交请求,请求路径就是Api接口     jQuery.ajax             console.log( error );         }     }) }) 完成,点击一下加载更多,页面就会无刷新加载 2 篇文章了。

    50820

    关注

    腾讯云开发者公众号
    10元无门槛代金券
    洞察腾讯核心技术
    剖析业界实践案例
    腾讯云开发者公众号二维码

    相关产品

    • 前端性能监控

      前端性能监控

      腾讯云前端性能监控(RUM)是一站式前端监控解决方案,用户只需要安装 sdk 到自己的项目中,通过简单配置化,即可实现对用户页面质量的全方位守护,真正做到了低成本使用和无侵入监控。

    相关资讯

    热门标签

    活动推荐

    扫码关注腾讯云开发者

    领取腾讯云代金券