动态网页常用的两种数据加载方式ajax和js动态请求

欢迎关注”生信修炼手册”!

对于静态网页，我们只需要访问对应的URL就可以获得全部的数据了，动态网页则没有这么简单。比如以下网站

http://q.10jqka.com.cn/zjhhy/detail/code/M/

在浏览器中打开，我们可以看到对应的表格数据

在浏览器中，通过翻页按钮，可以查看不同页面的内容

但是你会发现，在翻页的过程中，页面的url并没有发生变化，这说明这个表格中的数据是动态加载的。目前，常用的动态加载技术有以下两种

1. ajax

2. js

通过构建ajax或者js请求，来获得对应的数据。对于这些动态加载的数据，我们就不能只请求网页的url了，而是需要找到上述两种请求的链接，一些简单的动态加载链接，可以通过浏览器的调试工具来快速查找

1. ajax

ajax请求通过network选项中的xhr请求来查找，在上述网站进行翻页，可以看到如下如下所示的ajax请求链接

直接用爬虫或者ajax链接，就可以返回对应的数据了。

2. js动态加载

js请求通过network选项中的js请求来进行查找，在下列网站中，其翻页的数据就是通过js请求来动态加载的

https://finance.sina.com.cn/stock/reportch/jinqilin.shtml

js请求的示例如下

通过分析请求的url规律，可以帮助我们批量获取对应的数据连接。对于简单的ajax和js请求，通过浏览器调试工具，可以快速的获取数据。

·end·

—如果喜欢，快分享给你的朋友们吧—

原创不易，欢迎收藏，点赞，转发！生信知识浩瀚如海，在生信学习的道路上，让我们一起并肩作战！

本公众号深耕耘生信领域多年，具有丰富的数据分析经验，致力于提供真正有价值的数据分析服务，擅长个性化分析，欢迎有需要的老师和同学前来咨询。