Python每日一练(15)-爬取网页中动态加载的数据

Python每日一练(15)-爬取网页中动态加载的数据

强烈推介IDEA2020.2破解激活，IntelliJ IDEA 注册码，2020.2 IDEA 激活码

在使用python爬虫技术采集数据信息时，经常会遇到在返回的网页信息中，无法抓取动态加载的可用数据。例如，获取某网页中，商品价格时就会出现此类现象。如下图所示。本文将实现爬取网页中类似的动态加载的数据。

在这里插入图片描述

1. 那么什么是动态加载的数据?

我们通过requests模块进行数据爬取无法每次都是可见即可得，有些数据是通过非浏览器地址栏中的url请求得到的。而是通过其他请求请求到的数据，那么这些通过其他请求请求到的数据就是动态加载的数据。(猜测有可能是js代码当咱们访问此页面时就会发送得get请求，到其他url中获取数据)

2. 如何检测网页中是否存在动态加载得数据?

在当前页面中打开抓包工具，捕获到地址栏中的url对应的数据包，在该数据包的response选项卡搜索我们想要爬取的数据，如果搜索到了结果则表示数据不是动态加载的，否则表示数据为动态加载的。如图所示：

在这里插入图片描述

或者鼠标右键单击要爬取的页面显示网页源代码搜索我们想要爬取的数据，如果搜索到了结果则表示数据不是动态加载的，否则表示数据为动态加载的。如图所示：

在这里插入图片描述

3. 如果数据为动态加载，那么我们如何捕获到动态加载的数据？

在实现爬取动态加载的数据信息时，首先需要在浏览器的网络监视器中根据动态加载的技术选择网络请求的类型，然后通过逐个筛选的方式查询预览信息中的关键数据，并获取对应的请求地址，最后进行信息的解析工作即可。具体步骤如下：

在浏览器中快捷键打开，然后选择并在网络类型中选择，再按快捷键刷新，如下图所示。

在请求信息的列表中，依次单击每个请求信息，然后在对应的中核对是否为需要获取的数据，如下图所示。

动态加载Headers

在这里插入图片描述

根据以上步骤获取到的请求地址，发送网络请求并从返回的信息中提取商品价格信息。笔者在代码中使用到了反序列化，关于json序列化和反序列化可以点击 进行学习，代码如下：