前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python爬虫基础讲解(三):网络面板

Python爬虫基础讲解(三):网络面板

作者头像
松鼠爱吃饼干
发布2021-09-24 10:36:41
5540
发布2021-09-24 10:36:41
举报
文章被收录于专栏:Python分享
80集VIP付费内容Python入门基础教程,免费在线观看地址
代码语言:javascript
复制
https://www.bilibili.com/video/BV1544y1C7g4?share_source=copy_web

网络(Network)面板记录页面上每个网络操作的相关信息,包括详细的耗时数据、HTTP请求与响应标头和Cookie,等等。这就是我们通常说的抓包。

工具箱

Stop recording network log

默认情况下,只要开发者工具在开启状态,会记录所有的网络请求,当然,记录都是在Network 面板展示的。红色表示开启,灰色表示关闭。

Clear

清空所有数据,每一次重新分析是都需要清空之前的数据。

Filter

数据包过滤器。红色表示打开,蓝色表示关闭。

经常来使用它来过滤出一些HTTP请求,例如过滤出使用Ajax发起的异步请求、图片、视频等。

最大的窗格叫 Requests Table,此表格会列出了检索的每一个HTTP请求。默认情况下,此表格按时间顺序排序,最早的资源在顶部。点击资源的名称可以显示更多信息。

Requests Table参数:
  • all:所有请求数据(图片、视频、音频、js代码、css代码*)
  • XHR:XMLHttpRequest的缩写,是ajax技术的核心,动态加载完成经常分析的一个内容* * * css:css样式文件
  • JS:JavaScript文件,js解密是常分析的一个页面
  • lmg:lmages图片文件
  • Font:字体文件(字体反扒)
  • DoC:Document,文档内容
  • wS:WebSocket,web端的socket数据通信,一般用于一些实时更新的数据
  • Manifest:显示通过manifest缓存的资源。包括很多信息,如js库文件会显示文件地址、大小和类型;

Search

搜索框,只要在ALL里面出现的过的内容,就可以被直接搜索到。常用与数据检索与JS解密

reserve log

保留日志。当分析在多个页面跳转的内容时,一定要勾上,不然当页面发生新的跳转是,历史数据全部都会被清空。保留日志,做爬虫是一定需要勾上

Disable cache

清空JavaScript、css文件的缓存,获取最新的。

Hide data URLS

用于是否隐藏dataurl,那么什么是dataurl呢?传统的通常img标记的src属性指定了一个远程服务器的资源,浏览器针对每个外部资源需要向服务器发送一次拉取资源请求。而Data URL技术是图片数据以base64字符串格式嵌入到了页面中,和HTML融为一体。

Requests详情:

请求头

Headers是显示HTTP请求的 Headers,我们通过这个能看到请求的方式,以及携带的请求参数等。

  • General Request url :实际请求的网址 Request Method:请求方法 Status Code:状态码,成功时为200
  • Response Headers 服务器返回时设置的一些数据,例如服务器更新的cookie数据最新是在这里出现修改
  • Requests Headers 请求体,请求不到数据的原因一般出在这里。反扒也是反扒请求体里面的数据Accept:服务器接收的数据格式(一般忽略) Accept-Encoding:服务器接收的编码(—般忽略) Accept-Language:服务器接收的语言(一般忽略) Connection:保持连接(一般忽略) Cookies:cookies信息,是身份信息,爬取VIP资源是需要携带身份信息 Host:请求的主机地址 User-Agent:用户身份代理,服务器根据这个判断用户的大概信息 Sec-xxx-xXx:其他信息,可能没用,可能是反扒。具体情况具体分析

预览

Preview是请求结果的预览。一般用来查看请求到的图片,对于抓取图片网站比较给力。

响应体

Response是请求返回的结果。一般的内容是整个网站的源代码。如果该请求是异步请求,返回的结果内容一般是Json文本数据。

此数据与浏览器展示的网页可能不一致,因为浏览器是动态加载的

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-09-03,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 松鼠爱吃饼干 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 工具箱
    • Stop recording network log
      • Clear
        • Filter
          • Search
            • reserve log
              • Disable cache
                • Hide data URLS
                • Requests详情:
                  • 请求头
                    • 预览
                      • 响应体
                      相关产品与服务
                      云开发 CLI 工具
                      云开发 CLI 工具(Cloudbase CLI Devtools,CCLID)是云开发官方指定的 CLI 工具,可以帮助开发者快速构建 Serverless 应用。CLI 工具提供能力包括文件储存的管理、云函数的部署、模板项目的创建、HTTP Service、静态网站托管等,您可以专注于编码,无需在平台中切换各类配置。
                      领券
                      问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档