前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >脚本刷课思路-1

脚本刷课思路-1

作者头像
Elapse
发布2020-08-17 14:56:52
2.3K0
发布2020-08-17 14:56:52
举报
文章被收录于专栏:E条咸鱼E条咸鱼

前言

闲来无事,看了一下后台文章的阅读数据,发现随便乱写的 验证码绕过居然是历史最高的阅读,惊了,我也不知道是对验证码绕过有兴趣,还是对刷课的方法有兴趣

所以反正闲着也是闲着,就写个爬虫刷课的思路,也欢迎指点,这部分,我要分两篇来写

一呢,主要是我懒,明天都周六了,就应该躺在床上玩手机浪费时间,不应该学习了

二呢,是将基础篇和思路篇分开来,这样会好点(而且我还能多水一篇)

正文

那么众所周知的是,网页分为,动态网页和静态网页这两个,这两者的区别就在于,他页面的数据是否有进行交互

比如你用自己的账号 Elapse登录了一个论坛

你在进入个人中心时,显示的肯定是你 Elapse的账号信息

但是这个时候,你右键查看源代码的时候,会发现你的数据并不在源代码中,在相对应的位置可能是一串你看不懂的代码

这是因为,这个网页的数据,是从后端的数据库(或者是其他类数据库的文件)中获取来的,那么如果他页面不是动态的,名字那个地方不是一串代码,会发生什么事呢

用户B用 Ernket这个ID登录了论坛,发现

个人中心里居然是别人的信息,嗨呀,气不气,气死了,这个用户B辛辛苦苦上了一天的网课,结果全计到用户A的头上去了,心态爆炸

所以,任何这种需要数据交互的地方,都是动态页面,因为你总不能,一个网站成千上百的用户,首页打开来全是”欢迎您 Elapse“而不是显示你的名字

但是有一个问题就随之而来了,我爬虫,请求页面的时候,不也是请求到这些乱七八糟的玩意吗,那我还怎么刷课啊,内容我都找不到了

那么前面提到了一个,网页的数据,是从别的地方请求来的,这种东西,叫 API,也叫接口

我们假设,用户登录成功后,会有一个参数

代码语言:javascript
复制
id=123456

这个参数,是这个用户的ID,当网页登录成功后,他会通过接口,将id这个参数发送过去,服务器在接收到了之后查找,找到了之后,就打包发送回去

这个时候网页A收到了数据a,将a打开来一看,用户名、课程名全在上面,于是就一一对应上去相应的位置

所以,你爬虫访问页面没有数据时,这个时候,只需要轻按下你电脑的 F12,然后点击 XHR这样就会显示当前页面,请求了哪些接口,你在根据返回的内容判断这个接口是做什么的就好了

你可以通过开发者工具,来看他请求了哪些页面,用的参数是什么,以及返回的内容是什么,根据这些,来编写程序,爬取你想要的内容

有没有好看的小说推荐啊?

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2020-03-21,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 E条咸鱼 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 前言
  • 正文
相关产品与服务
访问管理
访问管理(Cloud Access Management,CAM)可以帮助您安全、便捷地管理对腾讯云服务和资源的访问。您可以使用CAM创建子用户、用户组和角色,并通过策略控制其访问范围。CAM支持用户和角色SSO能力,您可以根据具体管理场景针对性设置企业内用户和腾讯云的互通能力。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档