【在Linux世界中追寻伟大的One Piece】HTTPS协议原理

1 -> HTTPS是什么？

HTTPS(Hypertext Transfer Protocol Secure)是一种安全的网络通信协议，它在HTTP的基础上通过传输加密和身份认证保证了传输过程的安全性。HTTPS的安全基础是SSL/TLS协议，它存在不同于HTTP的默认端口及一个加密/身份验证层(在HTTP与TCP之间)。这个系统提供了身份验证与加密通讯方法，被广泛用于万维网上安全敏感的通讯，例如交易支付等方面。由于HTTPS协议内容都是按照文本的方式明文传输的，就导致在传输过程中出现一些被篡改的情况。

2 -> 相关概念

2.1 -> 什么是"加密"

加密就是把明文(需要传输的信息)进行一系列变换，最后生成密文。

解密就是把密文再进行一系列变换，最终还原成明文。

在这个加密和解密的过程中，往往需要一个或者多个中间数据，辅助进行这个过程，这样的数据就称为密钥(正确发音应该是yue四声，不过平时都读作yao四声)。

比如古时的"藏头诗"： 我花蓝江水悠悠， 爱晚亭上枫叶愁。 秋月溶溶照佛寺， 香烟袅袅绕经楼。 这首诗是许多人熟知的明代画家、书法家、诗人唐寅的作品。 单从字面上来看，这是一首描写风景名物的诗作。但是，当我们把这首诗每一句的第一个字连起来读，就会发现作者想要含蓄表达的真实意涵——“我爱秋香”。这种在古代十分常见的隐藏信息的方式就是“藏头诗”。 从密码学理论来看，藏头诗属于‘替换密码’的一种，是古代密码的典型应用，密码是藏头诗的字的位置。替换密码，就是通过特定的替换方式，把明文变成让别人看不懂的密文，以此来达到传递秘密消息的目的。

加密和解密到如今已经发展成一个独立的学科：密码学。

而密码学的奠基人，也正是计算机科学的祖师爷之一——艾伦·麦席森·图灵

在计算机领域中的最高荣誉就是以他名字命名的“图灵奖”。

2.2 -> 为什么要加密

比如臭名昭著的“运营商劫持”：运营商劫持事件通常指的是互联网服务提供商(ISP)未经用户同意，擅自修改或干扰用户的网络通信数据，包括但不限于更改网页内容、插入广告、重定向流量等行为。这种行为可能出于多种原因，如商业利益驱动、技术漏洞利用、监管不当等。

因为HTTP的内容是明文传输的，明文数据会经过路由器、WiFi热点、通信服务运营商、代理服务器等多个物理节点，如果信息在传输过程中被劫持，传输的内容就完全暴露了。劫持者还可以篡改传输的信息且不被双方察觉，这就是中间人攻击，所以我们才需要对信息进行加密。不止运营商可以劫持，其他的黑客也可以用类似的手段进行劫持，来窃取用户隐私信息，或者篡改内容。

所以在互联网上，明文传输是比较危险的事情。

HTTPS就是在HTTP的基础上进行了加密，进一步保证用户的信息安全。

2.3 -> 常见的加密方式

对称加密

• 采用单钥密码系统的加密方法，同一个密钥可以同时用作信息的加密和解密，这种加密方法称为对称加密，也称为单密钥加密，特征：加密和解密所用的密钥都是相同的。
• 常见的对称加密算法：DES、3DES、AES、TDEA、Blowfish、RC2等。
• 特点：算法公开、计算量小、加密速度快、加密效率高。

对称加密其实就是通过同一个“密钥”，把明文加密成密文，并且也能把密文解密成明文。

一个简单的对称加密，按位异或 假设明文a = 728，密钥key = 1023 则加密a ^ key得到的密文b为295。 然后针对密文295再次进行运算b ^ key，得到的就是原来的明文728。 (对于字符串的对称加密也是同理，每一个字符都可以表示成一个数字) 当然，按位异或只是最简单的对称加密，HTTPS中并不是使用按位异或。

非对称加密

• 需要两个密钥来进行加密和解密，这两个密钥是公开密钥(public key，简称公钥)和私有密钥(private key，简称私钥)。
• 常见的非对称加密算法：RSA、DSA、ECDSA。
• 特点：算法强度复杂、安全性依赖于算法和密钥，但是由于其算法复杂，使得加密解密速度没有对称加密解密速度快。

非对称加密要用到两个密钥，一个叫做“公钥”，一个叫做“私钥”。

公钥和私钥是配对的，最大的缺点就是运算速度非常慢，对比对称加密要慢很多。

• 通过公钥对明文加密，变成密文
• 通过私钥对密文解密，变成明文

也可以反着用

• 通过私钥对明文加密，变成密文
• 通过公钥对密文解密，变成明文

非对称加密的数学原理比较复杂，涉及到一些数论相关的知识。举一个简单的例子。 A要给B一些重要的文件，但是B可能不在，于是A和B提前做出约定： B说：我桌子上有个盒子，然后我给你一把锁，你把文件放盒子里用锁锁上，然后我回头拿着钥匙来开锁取文件。 在这个场景中，这把锁就相当于公钥，钥匙就是私钥。公钥给谁都行，但是私钥只有B自己持有。只有持有私钥的人才能解密。

2.4 -> 数据摘要 && 数据指纹

• 数字指纹(数据摘要)，其基本原理是利用单向散列函数(Hash函数)对信息进行运算，生成一串固定长度的数字摘要。数字指纹并不是一种加密机制，但可以用来判断数据有没有被篡改。
• 摘要常见算法：MD5、SHA1、SHA256、SHA512等，算法把无线的映射成有限，因此可能会有碰撞(两个不同的信息，算出相同的摘要，但是概率非常低)。
• 摘要特征：和加密算法的区别是，摘要严格意义不是加密。因为没有解密，只不过从摘要很难反推原信息，通常用来进行数据对比。

2.5 -> 数字签名

• 摘要经过加密，就得到数字签名。

3 -> HTTPS的工作过程

既然要保证数据安全，就需要进行“加密”。网络传输中不再直接传输明文了，而是加密后的“密文”。

加密的方式有很多，但是整体可以分成两大类：对称加密和非对称加密。

3.1 -> 只使用对称加密

如果通信双方都各自持有同⼀个密钥X，且没有别人知道，这两方的通信安全当然是可以被保证的(除非密钥被破解)。

引入对称加密后，即使数据被截获，由于黑客不知道密钥是什么，因此就无法进行解密，也就不知道请求的真实内容是什么了。

但事情没有这么简单，服务器同一时刻其实是给很多客户端提供服务的，这么多客户端，每个人用的密钥都必须是不同的(如果是相同的密钥就太容易扩散了，黑客也就能拿到了)。因此服务器就需要维护每个客户端和每个密钥之间的关联关系。

比较理想的做法，就是能在客户端和服务器建立连接的时候，双方协商确定这次使用的密钥是什么。但是如果直接把密钥使用明文传输，那么黑客也就能获得密钥了。此时后续的加密操作就形同虚设了。

因此密钥的传输也必须是加密传输！！

但是要想对密钥进行对称加密，就仍然需要先协商确定一个“密钥的密钥”。这就成了“先有鸡还是先有蛋”的问题了。此时密钥的传输再用对称加密就行不通了。

3.2 -> 只使用非对称加密

鉴于非对称加密的机制，如果服务器先把公钥以明文方式传输给浏览器，之后浏览器向服务器传数据前都先用这个公钥加密好再传，从客⼾端到服务器信道似乎是安全的(有安全问题)，因为只有服务器有相应的私钥能解开公钥加密的数据。

但是服务器到浏览器的这条路怎么保障安全？

如果服务器用它的私钥加密数据传给浏览器，那么浏览器用公钥可以解密它，而这个公钥是一开始通过明文传输给浏览器的，若这个公钥被中间人劫持到了，那他也能用该公钥解密服务器传来的信息了。

3.3 -> 双方都使用非对称加密

1. 服务端拥有公钥S与对应的私钥S'，客户端拥有公钥C与对应的私钥C'。
2. 客户和服务端交换公钥。
3. 客户端给服务端发信息：先用S对数据加密，再发送，只能由服务器解密，因为只有服务器有私钥S'。
4. 服务端给客户端发信息：先用C对数据加密，再发送，只能由客户端解密，因为只有客户端有私钥C'。

这样貌似也可以，但是效率太低，并且依旧有安全问题。

3.4 -> 非对称加密 + 对称加密

先解决效率问题

• 服务端具有非对称公钥S和私钥S'。
• 客户端发起HTTPS请求，获取服务端公钥S。
• 客户端在本地生成对称密钥C，通过公钥S加密，发送给服务器。
• 由于中间的网络设备没有私钥，即使截获了数据，也无法还原内部的原文，也就无法获取到对称密钥。
• 服务器通过私钥S'解密，还原出客户端发送的对称密钥C，并且使用这个对称密钥加密给客户端返回响应数据。
• 后续客户端和服务器的通信都只用对称加密即可。由于该密钥只有客户端和服务器两个主机知道，其他主机/设备不知道密钥，即使即使截获数据也没有意义。

由于对称加密的效率比非对称加密高很多，因此只是开始阶段协商密钥的时候使用非对称加密，后续的传输仍然使用对称加密。

虽然以上四种方法都比较不错，但是依旧有安全问题。3.1、3.2、3.2都存在一个问题，如果最开始，中间人就已经开始攻击了呢？

3.5 -> 中间人攻击-针对上面的场景

Man-in-the-MiddleAttack，简称“MITM攻击”。

在3.1、3.2、3.3中，客户端获取到公钥S之后，对客户端形成的对称密钥X用服务端给客户端的公钥S进行加密，中间人即使窃取到了数据，此时中间人确实无法解出客户端形成的密钥X，因为只有服务器有私钥S'。

但是中间人的攻击，如果在最开始握手协商的时候就进行，那就不一定了，假设hacker已经成功成为中间人：

1. 服务器具有非对称加密算法的公钥S，私钥S'。
2. 中间人具有非对称加密算法的公钥M，私钥M'。
3. 客户端向服务器发起请求，服务器明文传送公钥S给客户端。
4. 中间人劫持数据报文，提取公钥S并保存好，然后将被劫持报文中的公钥S替换成自己的公钥M，并伪造报文发给客户端。
5. 客户端收到报文，提取公钥M(当然，自己不知道公钥被更换过了)，自己形成对称密钥X，用公钥M加密钥X，形成报文发送给服务器。
6. 中间人劫持后，直接用自己的私钥M'进行解密，得到通信密钥X，再用曾经保存的服务端公钥S加密后，将报文推送给服务器。
7. 服务器拿到报文，用自己的私钥S'解密，得到通信密钥X。
8. 双方开始采用X进行对称加密，进行通信。但是一切都在中间人的掌握中，劫持数据，进行窃听甚至修改都是可以的。

以上攻击方案，同样适用与3.2、3.3。

问题本质出在了客户端无法确定收到的含有公钥的数据报文，就是目标服务器发送过来的。

3.6 -> 引入证书

CA认证

服务端在使用HTTPS前，需要向CA机构申领⼀份数字证书，数字证书里含有证书申请者信息、公钥信息等。服务器把证书传输给浏览器，浏览器从证书里获取公钥就行了，证书就如身份证，证明服务端公钥的权威性。

这个证书可以理解成一个结构化的字符串，里面包含：

• 证书发布机构
• 证书有效期
• 公钥
• 证书所有者
• 签名
• ……

需要注意的是：申请证书的时候，需要在特定平台生成，会同时生成⼀对密钥，即公钥和私钥。这对密钥就是用来在网络通信中进行明文加密以及数字签名的。

其中公钥会随着CSR⽂件，⼀起发给CA进行权威认证，私钥服务端自己保留，用来后续进行通信(其实主要就是用来交换对称秘钥)。

形成CSR之后，后续就是向CA进行申请认证，不过一般认证过程很繁琐，网络各种提供证书申请的服务商，一般真的需要，直接找平台解决就行。

理解数据签名

签名的形成是基于非对称加密算法的，注意，目前暂时和HTTPS没关系，不要和HTTPS中的公钥和私钥搞混了。

当服务端申请CA证书的时候，CA机构会对该服务端进行审核，并专门为该网站形成数字签名，过程如下:

1. CA机构拥有非对称加密的私钥A'和公钥A。
2. CA机构对服务端申请的证书明文数据进行Hash，形成数据摘要。
3. 然后对数据摘要用CA私钥A'加密，得到数字签名S。

服务端申请的证书明文和数字签名S共同组成了数字证书，这样一份数字证书就可以颁发给服务端了。

3.7 -> 非对称加密 + 对称加密 + 证书认证

在客户端和服务器刚一建立连接的时候，服务器给客户端返回一个证书，证书包含了之前服务端的公钥，也包含了网站的身份信息。

客户端进行认证

当客户端获取到这个证书之后，会对证书进行校验(防止证书是伪造的)。

• 判定证书的有效期是否过期
• 判定证书的发布机构是否受信任(操作系统中已内置的受信任的证书发布机构)。
• 验证证书是否被篡改：从系统中拿到该证书发布机构的公钥，对签名解密，得到一个Hash值(称为数据摘要)，设为Hash1。然后计算整个证书的Hash值，设为Hash2。对比Hash1和Hash2是否相等。如果相等，则说明证书没有被篡改过。

中间人有没有可能篡改证书？

• 中间人篡改了证书的明文。
• 由于他没有CA机构的私钥，所以无法Hash之后用私钥加密形成的签名，那么也就没有办法对篡改后的证书形成匹配的签名。
• 如果强行篡改，客户端收到该证书后会发现明文和签名解密后的值不一致，则说明证书已被篡改，证书不可信，从而终止向服务器传输信息，防止信息泄漏给中间人。

中间人有没有可能掉包整个证书？

• 因为中间人没有CA私钥，所以无法制作假的证书。
• 所以中间人只能向CA申请真证书，然后用自己申请的证书进行掉包。
• 这个确实能做到证书的整体掉包，但是别忘记，证书明文中包含了域名等服务端认证信息，如果整体掉包，客户端依旧能够识别出来。
• 永远记住：中间人没有CA私钥，所以对任何证书都无法进行合法修改，包括自己的。

4 -> 常见问题

为什么摘要内容在网络传输的时候一定要加密形成签名？

常见的摘要算法有：DM5和SHA系列。

以MD5为例，不需要研究具体的计算签名的过程，只需要了解MD5的特点：

• 定长：无论多长的字符串，计算出来的MD5值都是固定长度(16字节版本或者32字节版本)。
• 分散：源字符串只要改变一点点，最终得到的MD5都会差别很大。
• 不可逆：通过源字符串生成MD5很容易，但是通过MD5还原成原串理论上不可能的。

正因为MD5有这样的特性，可以认为如果两个字符串的MD5值相同，则认为这两个字符串相同。

理解判定证书篡改的过程 : 假设我们的证书只是⼀个简单的字符串 hello，对这个字符串计算Hash值(比如MD5)，结果为 BC4B2A76B9719D91。 如果 hello 中有任意的字符被篡改了，比如变成了 hella，那么计算的MD5值就会变化很大，为BDBD6F9CF51F2FD8。 然后我们可以把这个字符串 hello 和Hash值BC4B2A76B9719D91 从服务器返回给客户端， 此时客户端如何验证 hello 是否是被篡改过? 那么就只要计算 hello 的哈希值，看看是不是 BC4B2A76B9719D91 即可

但是还有个问题，如果黑客把hello篡改了，同时也把Hash值重新计算下，客户端就分辨不出了。

所以被传输的Hash值不能传输明文，需要传输密文。

所以，对证书明文(这里就是“hello”)Hash形成散列摘要，然后CA使用自己的私钥加密形成签名，将hello和加密的签名合起来形成CA证书，颁发给服务端，当客户端请求的时候，就发送给客户端，中间⼈截获了，因为没有CA私钥，就无法更改或者整体掉包，就能安全的证明，证书的合法性。

最后，客户端通过操作系统里已经存的了的证书发布机构的公钥进行解密, 还原出原始的哈希值, 再进行校验。

5 -> 总结

HTTPS工作过程中涉及到的密钥有三组。

第一组(非对称加密)：用于校验证书是否被篡改。服务器持有私钥(私钥在形成CSR文件与申请证书时获得)，客户端持有公钥(操作系统包含了可信任的 CA 认证机构有哪些, 同时持有对应的公钥)。服务器在客户端请求是，返回携带签名的证书。客户端通过这个公钥进行证书验证，保证证书的合法性，进⼀步保证证书中携带的服务端公钥权威性。

第二组(非对称加密)：用于协商生成对称加密的密钥。客户端用收到的CA证书中的公钥(是可被信任的)给随机⽣成的对称加密的密钥加密，传输给服务器，服务器通过私钥解密获取到对称加密密钥。

第三组(对称加密)：客户端和服务器后续传输的数据都通过这个对称密钥加密解密。

其实一切的关键都是围绕对称加密的密钥。其他的机制都是辅助这个密钥工作的。

第一组非对称加密的密钥是为了让客户端拿到第二组非对称加密的公钥。

第二组非对称加密的密钥是为了让客户端把这个对称密钥传给服务器。

感谢各位大佬支持！！！

互三啦！！！