编码、加密和 Hash

Hash

定义

散列函数(英语:Hash function)又称散列算法、哈希函数,是一种从任何一种数据中创建小的数字“指纹”的方法。散列函数把消息或数据压缩成摘要,使得数据量变小,将数据的格式固定下来。该函数将数据打乱混合,重新创建一个叫做散列值(hash values,hash codes,hash sums,或hashes)的指纹。散列值通常用一个短的随机字母和数字组成的字符串来代表。好的散列函数在输入域中很少出现散列冲突。在散列表和数据处理中,不抑制冲突来区别数据,会使得数据库记录更难找到。 —— Wikipedia-Hash

简单来说就是 Hash 这种算法可以把任意数据转换成指定的大小范围(通常在256字节以内)的数据。

作用

Hash 把数据压缩成摘要,因此最主要用途是数字指纹。

实际用途

  • 唯一性验证:Java 中的 hashCode() 方法。
  • 数据完整性验证:从网络下载文件时,为防止文件传输中丢失,文件提供方都会给出完整文件的 hash 值,用于完整性校验
  • 快速查找:HashMap
  • 隐私保护:当重要数据必须暴露时,可以选择暴露它的 Hash 值(MD5、SHA2等),例如网站登录时,可以只保存用户密码的 Hash 值,每次登录时只需将密码的 Hash 值和数据库中的 Hash 值作比较,网站无需存储用户密码,这样在网站数据被盗时可以有效防止撞库等风险

Hash 是编码吗?

不是。Hash 是单向过程,Hash 值不可逆向成数据(4GB 大小的一个 mkv 文件,Hash 值也只是一个字符串而已,不可能从这个字符串恢复成原文件),因此 Hash 不属于编码。

Hash 是加密吗?

不是。加密和解密是对应的,Hash 是单向过程,无法进行逆向操作,因此 Hash 不属于加密。

加密

对称加密

  • 原理:使用密钥和加密算法对数据进行转换,得到无意义的数据即密文;使用密钥和解密算法对密文进行逆向转换,得到原数据。

image.png

非对称加密

非对称加密可以说是现代计算机网路通讯的安全基石,无论你是否了解或者听说过它,只要你使用联网的电子设备,就会用到它。

  • 原理:使用公钥对数据进行加密得到密文;使用私钥对数据进行解密得到原数据。

image.png

用一个简单的例子来解释一下非对称加密:A 要发送一个消息110给 B,B 自己先生成一对密钥(公钥p 和 私钥q),这对密钥有一个对应关系,那就是 p+q=10,这里假设(p=4;q=6),B 把公钥 4 发给 A,A 再把110每位加 4 变成密文554发给 B,然后 B 拿到密文554之后使用私钥每位加 6 变成111110然后把每一位的结果 -10 得到110,这样 B 就拿到了原文。

3551539-ffdc7c4db9235858c.png

同理,B 如果要给 A 发送消息,那么 B 就用 A 的公钥加密消息发给 A,然后 A 再用自己的私钥解密消息就好了,所以非对称加密的安全关键就是私钥不对外公开并且只有自己的私钥才能解自己的公钥,这样就解决了对称加密通讯中密钥传输丢失的风险,因为 A 根本不需要把私钥发送给 B,而发送出去的公钥不能用来解密消息。以上示例的整个通讯过程就是非对称加密通讯的核心思想。

上图的模型中加密算法就是加法,公钥就是 4,私钥就是 6,其中加密算法和公钥是公开的,示例模型中拿到公钥和密文是可以推导出原数据的,而实际应用中的加密算法十分复杂并且通过公钥和密文无法推导出原数据,具体可以参考非对称加密算法 RSA 的算法原理

签名和验证

通过了解非对称加密我们可以知道同一对密钥中私钥是可以解公钥的,那么思考一下公钥是否可以解私钥? 我们不妨仔细看一下非对称加密解密过程:

image.png

如上图所示,A 通过公钥+加密算法得到 B,B 通过私钥+加密算法得到 C,因为 C = A,所以用公钥再加密一下 C 就可以得到 B 而形成一个循环,所以公钥也可以解私钥加密的数据。

于是,我们就可以用私钥给数据做签名,然后对方收到签名数据用公钥解密做校验;在实际应用中由于文件大小的不可控,给文件直接签名效率很低,所以一般都是给文件的 hash 值做签名,因为 hash 的最主要用途就是数字指纹,因此通过比对两个文件的 hash 值是否相等来校验两个文件是否相等是普遍的文件校验手段。通过非对称加密来签名和校验文件的过程如下:

image.png

从上图中不难看出,我们给数据签名的目的只有一个:保证接受方收到的数据就是我发出去的数据,中途没有丢失或被篡改。 我们从大部分网站上下载一些文件,为安全起见一般他们都会给出文件的 hash 值,用来和你下载到本地的文件做完整性和一致性的校验。 所以给文件签名的逻辑就是:我要发送一个文件给对方,那我怎么保证我的文件不会被篡改或丢失?把文件的 hash 也发过去。那我怎么保证我的 hash 不会被篡改?把 hash 进行签名和文件一起发过去。

Base64

定义

Base64是一种基于64个可打印字符来表示二进制数据的表示方法。由于 {\displaystyle 2^{6}=64} {\displaystyle 2^{6}=64},所以每6个比特为一个单元,对应某个可打印字符。3个字节有24个比特,对应于4个Base64单元,即3个字节可由4个可打印字符来表示。它可用来作为电子邮件的传输编码。在Base64中的可打印字符包括字母A-Z、a-z、数字0-9,这样共有62个字符,此外两个可打印符号在不同的系统中而不同。一些如uuencode的其他编码方法,和之后BinHex的版本使用不同的64字符集来代表6个二进制数字,但是不被称为Base64。 —— Wikipedia-Base64

简单理解就是 Base64 是一种能将二进制数据转换成有 64 个字符组成的字符串的编码算法。

算法

将原数据每 6 位对应成 Base 64 索引表中的一个字符并编排成一个字符串(每个字符 8 位)。

Base64 索引表:

image.png

编码“Man”

image.png

末尾补齐

image.png

用途

  • 将二进制数据的存储方式和传输途径进行了扩充(例如可以把图片经过编码保存到文本文件、可以通过聊天对话框或短信形式发送、可以在 URL 中加入简单的二进制数据)
  • 普通的字符串在经过 Base64 编码后结果会变得肉眼不可读,因此适用于一定条件下的防偷窥

缺点

因为自身原理(6 位变 8 位),因此每次 Base64 编码之后,数据都会增大约 1/3,所以会影响存储和传输性能。

变种:Base58

比特币使用的编码方式,去掉了 Base64 中的数字 “0”,大写字母 “O”,大写字母 “I”,和小写字母 “l”,以及 “+” 和 “/” 符号,用于比特币地址的表示。

Base58 对于 Base64 的改动,主要目的在于用户的便携性。由于去掉了难以区分的字符,使得 Base58 对于“人工抄写”更加友好。另外,去掉了“+”、“/”号后也让大多数如软件可以方便的双击选取。

压缩与解压缩

含义

  • 压缩:将数据使用更具有存储优势的编码算法进行编码。
  • 解压缩:将压缩数据解码还原成原来的形式,以方便使用。

目的

减小数据占用的存储空间。

示例

将下面的文本内容压缩:

aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
aaaaaaaaaaaabbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb
bbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbbb

使用某种算法压缩后结果为:

compress:a:1024;b:105

注:实际应用场景中的压缩算法非常复杂,上面只是一种演示原型。

压缩是编码吗?

是。所谓编码,即把数据从一种形式转换为另一种形式。压缩过程属于编码过程,解压缩过程属于解码过程。

常见的压缩算法

JPEG、MP3、MP4 等。

序列化

把数据对象(一般是内存中的,例如 JVM 中的对象)转换成字节序列的过程。对象在程序内存里的存放形式是散乱的(存放在不同内存区域、并且由引用进行连接),通过序列化可以把内存中的对象转换成一个字节序列,从而使用 byte[] 等形式进行本地存储或网络传输,在需要的时候进行重新组装(反序列化)来使用。

目的

让内存中的对象可以被存储和传输。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏Flutter入门到实战

RxJava 详解

我从去年开始使用 RxJava ,到现在一年多了。今年加入了 Flipboard 后,看到 Flipboard 的 Android 项目也在使用 RxJava ...

3081
来自专栏好好学java的技术栈

java实现手机短信验证全过程

5023
来自专栏QQ空间开发团队的专栏

RxJava && Agera 从源码简要分析基本调用流程(1)

相信很多做Android或是Java研发的同学对RxJava应该都早有耳闻了,尤其是在Android开发的圈子里,RxJava渐渐开始广为流行。同样有很多同学已...

8.6K1
来自专栏芋道源码1024

熔断器 Hystrix 源码解析 —— 命令执行(一)之正常执行逻辑

本文主要基于 Hystrix 1.5.X 版本 1. 概述 2. #applyHystrixSemantics(...) 3. TryableSemaphor...

5298
来自专栏谦谦君子修罗刀

程序员面试闪充--iOS密码学

但凡一个有点追求的iOS开发,总得会点加密技术,要不然用户信息就有可能被其他人获取用来做一些对我们不利的事情。 视频地址: 密码学 一、base64 base6...

36810
来自专栏一直在跳坑然后爬坑

RxJava2操作符之“Distinct”

我们创建了一个会发送1, 2, 1, 1, 2, 3, 4, 6, 4 这些item的被观察者 其中1,2,4都有重复的数字 然后用操作符distinct去...

922
来自专栏小樱的经验随笔

RSA公钥文件解密密文的原理分析

  最近在学习RSA加解密过程中遇到一个这样的难题:假设已知publickey公钥文件和加密后的密文flag,如何对其密文进行解密,转换成明文~~

1101
来自专栏逢魔安全实验室

ISCC 2018 Writeup

ISCC 2018 CTF中,一些题目还是很不错的。但是需要吐槽的就是这个积分机制,私以为一次性放出所有题目而且反作弊机制完善的情况下动态积分这个方法很好。但是...

5514
来自专栏Seebug漏洞平台

漏洞分析】Shiro RememberMe 1.2.4 反序列化导致的命令执行漏洞

概述 Apache Shiro 在 Java 的权限及安全验证框架中占用重要的一席之地,在它编号为550的 issue 中爆出严重的 Java 反序列化漏洞。下...

2.9K5
来自专栏Netkiller

Struts Interceptor Example

一下文章节选择《netkiller java 手札》 http://www.netkiller.cn/java/struts/interceptor.html...

2969

扫码关注云+社区

领取腾讯云代金券