一探究竟！Whistle拦截HTTPS是如何实现的？

腾讯云开发者

发布于 2021-12-22 09:10:18

2K0

发布于 2021-12-22 09:10:18

文章被收录于专栏：【腾讯云开发者】【腾讯云开发者】

导语 | 本文主要介绍Whistle的实现原理，通过这篇文章读者可以了解Whistle的具体实现过程，并且自己也可以实现一个简单的抓包调试工具。

项目Github地址：https://github.com/avwo/whistle

Whistle是基于Node实现的跨平台Web抓包调试（HTTP）代理，主要功能：

实时抓包：支持HTTP、HTTPS、HTTP2、WebSocket、TCP等常见Web请求
修改请求响应：与一般抓包调试工具采用断点的方式不同，Whistle采用类似系统host的配置规则方式
扩展功能：支持通过Node编写插件，或作为独立NPM包引入项目两种扩展方式

本文将从最基本的概念开始逐步实现Whistle功能，包含以下内容：

什么是HTTP代理
实现简单HTTP代理
完整HTTP代理架构（Whistle）
各个模块的实现原理
参考资料

一、什么是HTTP代理

代理是客户端到服务端的中转服务，其中：

不经过代理的请求：客户端和服务端直接建立连接后，即可开始交换数据
经过代理的请求：客户端不与服务端直接建立连接，而是先跟代理建立连接后，将目标服务器的地址发送给代理，通过代理再跟服务端建立连接，这里如果代理服务为HTTP Server，则称为HTTP代理。

接下来看下客户端如何将目标服务器地址传给HTTP代理，以及HTTP代理如何跟目标服务器建立连接。

二、实现简单HTTP代理

先看一个用Node实现的最简单HTTP代理：

const http = require('http');const { connect } = require('net');
/****************** 工具方法 ******************/const getHostPort = (host, defaultPort) => {  let port = defaultPort || 80;  const index = host.indexOf(':');  if (index !== -1) {    port = host.substring(index + 1);    host = host.substring(0, index);  }  return {host, port};};
const getOptions = (req, defaultPort) => {  // 这里假定 host 一定存在，完整实现参见 Whistle  const { host, port } = getHostPort(req.headers.host, defaultPort);  return {    hostname: host, // 指定请求域名，用于通过 DNS 获取服务器 IP 及设置请求头 host 字段    port, // 指定服务器端口    path: req.url || '/',    method: req.method,    headers: req.headers,    rejectUnauthorized: false, // 给 HTTPS 请求用的，HTTP 请求会自动忽略  };};
// 简单处理，出错直接断开，完整实现逻辑参考 Whistleconst handleClose = (req, res) => {  const destroy = (err) => { // 及时关闭无用的连接，防止内存泄露    req.destroy();    res && res.destroy();  };  res && res.on('error', destroy);  req.on('error', destroy);  req.once('close', destroy);};
/****************** 服务代码 ******************/const server = http.createServer();// 处理 HTTP 请求server.on('request', (req, res) => {  // 与服务端建立连接，透传客户端请求及服务端响应内容  const client = http.request(getOptions(req), (svrRes) => {    res.writeHead(svrRes.statusCode, svrRes.headers);    svrRes.pipe(res);  });  req.pipe(client);  handleClose(res, client);});
// 隧道代理：处理 HTTPS、HTTP2、WebSocket、TCP 等请求server.on('connect', (req, socket) => {  // 与服务端建立连接，透传客户端请求及服务端响应内容  const client = connect(getHostPort(req.url), () => {    socket.write('HTTP/1.1 200 Connection Established\r\n\r\n');    socket.pipe(client).pipe(socket);  });  handleClose(socket, client);});
server.listen(8080);

上述代码实现了一个具有转发请求功能的HTTP代理，从代码可知HTTP代理就是一个普通的HTTP Server，并监听request和connect这两个事件，客户端会通过这两个事件将目标服务器地址传过来，其中：

request：一般普通HTTP会通过该事件将目标服务器地址传过来。
connect：一般非HTTP请求，如HTTPS、HTTP/2、WebSocket、TCP等会通过该事件将目标服务器地址传过来，触发该事件的代理请求也叫隧道代理。

可以在事件里面的req.url或req.headers.host获取目标服务器的地址（host:port），再跟该服务器地址建立连接并将结果通过HTTP响应的方式返回给客户端，这里只是实现代理的最基本功能，完整的HTTP除了请求转发，至少应该还有：

查看实时抓包；
解析HTTPS请求；
修改请求响应内容；
扩展功能。

下面以Whistle为例看下如何用Node.js实现一个完整的HTTP代理。

三、完整HTTP代理架构（Whistle）

主要分五个模块：

请求接入模块
隧道代理模块
处理HTTP请求模块
规则管理模块
插件管理模块

四、具体实现原理

下面分别看下这五个模块具体是怎么实现的。

（一）请求接入模块

所有请求先会经过请求接入模块，Whistle支持四种请求接入方式：

HTTP&HTTPS直接请求：相当于配hosts或DNS的方式，将请求转发到Whistle；
HTTP代理：Whistle默认接入方式，即配系统代理或通过浏览器插件配 HTTP代理的方式；
HTTPS代理：在HTTP代理之上对代理请求进行了加密，即HTTPS Server，可以通过指定证书转成HTTP代理请求；
Socks5代理：利用npm包socksv5转成普通的TCP请求，并将TCP请求转成隧道代理请求。

实现原理：将所有请求都转成HTTP代理的隧道代理请求或HTTP请求，再解析隧道代理请求转成HTTP请求。

如何将普通tcp请求转成隧道代理请求参见：lack-proxy

下面看下如何从隧道代理请求解析出HTTP请求。

（二）隧道代理模块

关键点（HTTP请求也可以走隧道代理）：

通过匹配的全局规则判断是否要解析隧道代理请求，如果不解析，则当成普通TCP请求处理；
如果需要，则通过socket.once('data', handler) 读取请求点第一帧数据；
将第一帧数据转成字符串，通过正则/^(\w+)\s+(\S+)\s+HTTP\/1.\d$/mi是否是HTTP请求？如果是HTTP请求，再判断下是否是CONNECT请求，即隧道代理请求（隧道代理请求也可以代理隧道代理请求），如果是，则转回隧道代理方法处理，如果不是，则转到HTTP请求模块处理；
如果不是HTTP请求，则当成HTTPS请求处理，这里需要用到中间人的方式将HTTPS请求转成HTTP请求；
Whistle会先按以下顺序获取请求证书：
通过匹配的插件获取（可以通过规则 sniCallback://plugin 指定加载证书的插件）；
通过启动参数-z certDir指定目录或~/.WhistleAppData/custom_certs 加载的自定义证书；
如果没有上述两种自动证书，Whistle会自动生成一个默认的证书。
获取到证书后，再利用该证书启动一个HTTPS Server，将HTTPS请求转成HTTP请求交给HTTP请求模块处理。