Python之JavaScript逆向系列——1、URL——http与https

Python之JavaScript逆向系列——1、URL——http与https

目录

Python之JavaScript逆向系列——1、URL——http与https

前言

环境准备

正文

http与https的协议是什么？

http与https的访问端口号区别

在js逆向中http与https访问的区别

前言

大家好，本系列文章主要为大家提供的价值方向是网络信息获取，自动化的提取、收集、下载和记录互联网上的信息，加之自身分析，可以让价值最大化。整个内容中不会涉及到过为敏感的内容。

在这个AI+云计算+大数据时代，我们眼睛所看到的百分之九十的数据都是通过页面呈现出现的，不论是PC端、网页端还是移动端，数据渲染还是基于HTML+JavaScript进行的，而大多数的数据都是通过request请求后台API接口动态渲染的。而想成功的请求成功互联网上的开放/公开接口，必须知道它的【URL】、【Headers】、【Params】、【Body】等数据是如何生成的。我们需要了解浏览器开发者工具的功能，入门JS逆向，入门后还需要掌握例如如何【反编译js混淆】等内容，为了避免封本机IP，还需要对每次访问的IP进行代理，当我们拥有了JS逆向的能力后，根据JS所返回的动态请求参数信息便可以进行Python的具体信息获取操作，需要的知识点非常的多，故而本系列文章理论+实践会达到上百篇的文章，这篇文章是总篇，为了方便大家来直接查找所有知识点，建议之间关注收藏本篇，期望能给大家带来更高的价值。

环境准备

系统环境：win11

开发工具：PyCharm: the Python IDE for Professional Developers by JetBrains

IP代理：品易HTTP - 代理IP日更400万 - 为企业提供HTTP代理IP定制服务

api工具：Eolink - 一体化API在线管理平台_API接口管理_接口自动化测试

数据库：MySQL5.7.32——阿里云RDS数据库

主要python库：requests、PyExecJS、parsel

正文

以下的百度路径中可以看到组成方式是：

【https+www+域名+?+参数】

https://www.baidu.com/?tn=62095104_26_oem_dg&uid=12

第一节我们先来讲一下http与https的概述与区别。

http与https的协议是什么？

HTTP（Hypertext Transfer Protocol）和 HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）都是通过【TCP（传输控制协议）】进行通信的。

HTTP（Hypertext Transfer Protocol）和 HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）是两种不同的网络协议，它们分别用于传输超文本（例如网页）和安全传输超文本。

HTTP协议是一种应用层协议，用于在网络中传输超文本。它使用明文传输，因此数据在传输过程中可能被窃听或篡改。为了提高数据传输的安全性，HTTPS协议应运而生。

HTTPS协议是在HTTP的基础上增加了一组加密协议，通过使用SSL/TLS等加密协议来保证数据在传输过程中的安全性。在HTTPS协议下，数据会被加密，从而保护了用户数据的安全性。

HTTPS协议需要一个安全的连接，通常通过SSL/TLS建立。在建立连接的过程中，客户端和服务器会交换数字证书，以确保双方的身份可信。一旦连接建立，HTTP请求和响应就可以通过加密的方式进行传输。

HTTPS协议在许多场合下被广泛使用，例如电子商务网站、银行网站等需要保护用户数据安全的场合。HTTPS协议还可以提供浏览器的安全标志，帮助用户识别网站的安全性。

总之，HTTP和HTTPS是两种不同的网络协议，前者主要用于超文本传输，而后者是为了提高数据传输的安全性而增加了一组加密协议。HTTPS通过SSL/TLS等加密协议来保证数据在传输过程中的安全性。

http与https的访问端口号区别

HTTP和HTTPS在访问端口号上存在明显的差异。

HTTP协议使用的是明文传输，因此端口号为80。这意味着任何在网络上监听的IP地址都可以通过端口80向服务器发出请求。

HTTPS协议则使用SSL/TLS加密技术来保护数据传输，端口一般为443。当浏览器访问网站时，会通过端口443将请求发送到服务器，而不是端口80。这是因为HTTPS协议需要加密传输的数据，以确保数据在传输过程中不会被截获和窃取。

总的来说，HTTP和HTTPS在访问端口号上的区别主要是由于它们使用的安全技术不同。HTTP使用明文传输，因此端口号为80；而HTTPS使用加密技术，因此使用端口443。选择不同的端口主要是为了确保数据传输的安全性。

在js逆向中http与https访问的区别

使用过程中会有以下几点不同：

1. 安全性和隐私性：HTTPS协议是通过SSL/TLS加密实现的，它提供了更高的安全性和隐私性。这包括防止中间攻击者拦截数据、防止数据泄露和篡改以及保护用户隐私。
2. 连接建立方式：HTTP和HTTPS在使用上有很大的不同。HTTP协议是明文传输，连接建立简单，速度快。而HTTPS协议则是通过SSL/TLS建立加密通道，连接建立过程相对复杂，速度较慢。
3. 资源加载方式：HTTPS协议加载的页面内容与HTTP页面内容一样，都是明文显示，但加载过程是加密的。在爬取HTTPS网站时，爬虫可以正常抓取内容，无需担心被拦截或阻拦。
4. 服务器响应头：HTTPS服务器通常会返回不同的响应头，如X-Frame-Options、HSTS等，这些响应头对请求来说可能具有不同的含义。

在访问HTTP和HTTPS时，由于HTTPS的安全性和隐私性更高，因此在某些情况下可能会遇到更复杂的网络环境，需要开发者对相关技术有更深入的了解和掌握。同时，由于HTTPS的加载方式和服务器响应头可能与HTTP不同，在处理HTTPS数据时也需要考虑这些差异。