从字面上理解，url去重即去除重复的url,在爬虫中就是去除已经爬取过的url,避免重复爬取，既影响爬虫效率，又产生冗余数据。
哈希表就是一种以 键-值(key-indexed) 存储数据的结构，我们只要输入待查找的值即key，即可查找到其对应的值。
哈希算法的应用非常非常多，最常见的有七个，分别是安全加密、唯一标识、数据校验、散列函数、负载均衡、数据分片、分布式存储。
Hash，一般翻译做散列，也有直接音译为哈希，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。
还记得 2011 年 CSDN 的“脱库”事件吗？当时，CSDN 网站被黑客攻击，超过 600 万用户的注册邮箱和密码明文被泄露，很多网友对 CSDN 明文保存用户密码行为产生了不满。如果你是 CSDN 的一名工程师，你会如何存储用户密码这么重要的数据吗？仅仅 MD5 加密一下存储就够了吗？ 要想搞清楚这个问题，就要先弄明白哈希算法。
上篇文章的查找是不是有意犹未尽的感觉呢？因为我们是真真正正地接触到了时间复杂度的优化。从线性查找的 O(n) 直接优化到了折半查找的 O(logN) ，绝对是一个质的飞跃。但是，我们的折半查找最核心的一个要求是什么呢？那就是必须是原始数据是要有序的。这可是个麻烦事啊，毕竟如果数据量很庞大的话，排序又会变得很麻烦。不过别着急，今天我们要学习的散列表查找又是另一种形式的查找，它能做到什么程度呢？
密码（password）是最广泛使用的认证系统之一，防止未经授权的用户访问系统，无论是离线还是在线。在大多数系统中，密码是通过加密存储的，以便为每个用户提供安全性。然而，在这些密码的加密之内，仍然存在漏洞。本文将回顾关于密码哈希（hash）函数的学术和出版文献，特别指出MD4，MD5，SHA算法以及在Linux操作系统中使用Salt字符串。
散列表（Hash table，也叫哈希表），是根据键（Key）而直接访问在内存存储位置的数据结构。也就是说，它通过计算一个关于键值的函数，将所需查询的数据映射到表中一个位置来访问记录，这加快了查找速度。这个映射函数称做散列函数，存放记录的数组称做散列表。
第一步，将域名证书的内容，使用签名哈希算法，生成一个不可逆的摘要，将其标记为H1；
将域名解析到另一台主机涉及修改域名服务器记录（DNS）和邮件服务器记录（MX）。以下是一般步骤：
在常见的互联网业务场景中，数据的交互，都是以明文传输的，数据加密的套路也就成了目前Web中比较常见的部分。
挂断电话后，我赶紧登录12306改掉了我的密码，还好我各个网站的密码不一样，这样就能很好的避免被撞库了。
数据结构-Hash常见操作实践目录介绍01.什么是哈希算法02.哈希算法的应用03.安全加密的场景04.唯一标识的场景05.数据校验的场景06.散列函数的场景07.Git版本的控制08.云存储文件场景09.哈希算法的总结10.哈希算法的特点11.哈希算法的实践12.常用哈希码算法13.Map哈希的算法14.理解HashCode15.哈希冲突的解决16.问题思考的答疑01.什么是哈希算法哈希算法历史悠久业界著名的哈希算法也很多，比如MD5、SHA等。在平时的开发中，基本上都是拿现成的直接用。今天不会重点剖析哈
这些定义和要求都比较理论，可能还是不好理解，我拿MD5这种哈希算法来具体说明一下。
消息摘要算法是密码学算法中非常重要的一个分支，它通过对所有数据提取指纹信息以实现数据签名、数据完整性校验等功能，由于其不可逆性，有时候会被用做敏感信息的加密。消息摘要算法也被称为哈希（Hash）算法或散列算法。
DES（Data Encryption Standard）：对称算法，数据加密标准，速度较快，适用于加密大量数据的场合；
MD5（Message Digest Algorithm 5，信息摘要算法5）是一种广泛使用的哈希算法，它将任意长度的“字节串”映射为一个固定长度的大数，并且设计者寄希望于它无法逆向生成，也就是所谓的“雪崩效应”。MD5算法在信息安全领域具有重要地位，常用于数据完整性校验、密码存储等场景。然而，随着计算能力的提升和密码学研究的深入，MD5算法的安全性已经受到严重挑战。
实际上，不管是“散列”还是“哈希”，这都是中文翻译的差别，英文其实就是“Hash”。所以，我们常听到有人把“散列表”叫作“哈希表”“Hash
来自 RFC 1321 的解释 – MD5 报文摘要算法： MD5 报文摘要算法将任意长度的信息作为输入值，并将其换算成一个 128 位长度的”指纹信息”或”报文摘要”值来代表这个输入值，并以换算后的值作为结果。MD5 算法主要是为数字签名应用程序而设计的；在这个数字签名应用程序中，较大的文件将在加密（这里的加密过程是通过在一个密码系统下[如：RSA]的公开密钥下设置私有密钥而完成的）之前以一种安全的方式进行压缩。
哈希算法历史悠久，业界著名的哈希算法也有很多，比如 MD5、SHA 等。在我们平时的开发中，基本上都是拿现成的直接用。所以，我今天不会重点剖析哈希算法的原理，也不会教你如何设计一个哈希算法，而是从实战的角度告诉你，在实际的开发中，我们该如何用哈希算法解决问题。
讲完了List之后，我们继续讲集合中的另外两大巨头，Map和Set。在讲解这两个巨头之前，很有必要来了解一下哈希算法，因为Map和Set的无脑实现类就是HashMap和HashSet，所以在这之前了解Hash算法对我们更好的理解这两个实现类很有帮助。
一言以蔽之，彩虹表是一种破解用户密码的辅助工具。彩虹表以时空折中理论为基础，但并不是简单地“以空间换时间”，而是一种“双向交易”，在二者之间达到平衡。1980年，公钥密码学的提出者之一Hellman针对DES算法（一种对称加密算法）提出了一种时空折中算法，即彩虹表的前身：预先计算的散列链集。2003年瑞典的Philippe Oechslin在其论文Making a Faster Cryptanalytic Time-Memory Trade-Off（参考博客2）中对Hellman的算法进行了改进，并命名为彩虹表。当时是针对Windows Xp开机认证的LM散列算法。当然，目前除了破解开机密码，彩虹表目前还能用于SHA、MD4、MD5等散列算法的破译，速度快、破解率高，正如Philippe在论文中提到的：“1.4G的彩虹表可以在13.6s内破解99.9%的数字字母混合型的Windows密码“。实际上，Philippe所做的改进本质上是减少了散列链集中可能存在的重复链，从而使空间的有效利用率更高，关于这一点，后面会详述。
什么是摘要算法呢？摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。
简单的java加密算法有： BASE64 严格地说，属于编码格式，而非加密算法 MD5(Message Digest algorithm 5，信息摘要算法) SHA(Secure Hash Algorithm，安全散列算法) HMAC(Hash Message Authentication Code，散列消息鉴别码) 1. BASE64 Base64是网络上最常见的用于传输8Bit字节代码的编码方式之一，大家可以查看RFC2045～RFC2049，上面有MIME的详细规范。 Base64编码可用于在HTTP
hashlib模块 算法介绍 Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等。 什么是摘要算法呢？摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示）。 摘要算法就是通过摘要函数f()对任意长度的数据data计算出固定长度的摘要digest，目的是为了发现原始数据是否被人篡改过。 摘要算法之所以能指出数据是否被篡改过，就是因为摘要函数是一个单向函数，计算f(data)很容易，但通过digest反推data却非常困难
本文包括：语法介绍、使用示例、通过file命令确定文件的压缩格式、通过MD5检验比较两个tar包是否一致、批量压缩和解压缩。
MD5长度默认是128bit,这样表达不好，所以将二级制转换成16进制，4bit代表一个16进制，所有128/4=32 ，所以为32位16进制。 MD5 16位与32位区别是将32位后面的16位去掉，得到的16位
数字签名，简单来说就是通过提供 可鉴别 的 数字信息 验证 自身身份 的一种方式。一套 数字签名 通常定义两种 互补 的运算，一个用于 签名，另一个用于 验证。分别由 发送者 持有能够 代表自己身份 的 私钥 (私钥不可泄露),由 接受者 持有与私钥对应的 公钥 ，能够在 接受 到来自发送者信息时用于 验证 其身份。
加密算法介绍 HASH Hash，一般翻译做“散列”，也有直接音译为”哈希”的，就是把任意长度的输入（又叫做预映射，pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，而不可能从散列值来唯一的确定输入值。 简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。 HASH主要用于信息安全领域中加密算法，他把一些不同长度的信息转化成杂乱的128位的编码里,叫做HASH值.也可以说，hash就是找到一种数据内容和数据存放地址之间的映射关系
近年来，显卡的发展已经发生了巨大的变化; 他们现在包含的芯片内部有数百或数千个处理器，所有处理器并行工作。 当其应用于密码破解时，这意味着如果单个处理器可以在一秒钟内计算10,000个哈希值，一个拥有1,000个核心的GPU可以达到1000万个。这意味着将破解时间缩短1000倍或更多。在这一章节中，我们将使用Hashcat暴力破解哈希。 但是仅当你在具有Nvidia或ATI芯片组的计算机上安装KaliLinux作为基本系统时，此功能才有效。如果你在虚拟机上安装了Kali Linux，则GPU破解可能不起作用，但你可以在主机上安装Hashcat。有Windows和Linux版本（https://hashcat.net/hashcat/）。
说到Hash（哈希），开发人员应该不陌生，比如Hash表是一种非常常用的数据结构，通过Hash表能够根据键值快速找到数据。哈希函数将文本（或其他数据）映射为整数，从而能够提高检索效率。
作者｜陈映平 原文｜http://imweb.io/topic/58fc1ec70d452ebc4b6443ca 简介 MD5（Message-Digest Algorithm）是计算机安全领域广泛使用的散列函数（又称哈希算法、摘要算法），主要用来确保消息的完整和一致性。常见的应用场景有密码保护、下载文件校验等。 本文先对MD5的特点与应用进行简要概述，接着重点介绍MD5在密码保护场景下的应用，最后通过例子对MD5碰撞进行简单介绍。 特点 运算速度快：对jquery.js求md5值，57254个字符，耗时1
说到密码学，阿粉现在真的是非常的头大，为啥呢？因为密码学真的是有点难度呀，各种各样的加密手段，各种各样的解密手段，像 MD5 呀，还有 RSA 呀，还有 DES 呀，反正就是一大堆，接下来的几天，阿粉就来逐个的分析一下这个关于密码中的各种加密手段，以及他们是如何使用的。
密码散列函数是一种单向散列函数，它可以将给定的数据提取出信息摘要，也就是给定数据的指纹信息。结果的摘要信息格式是一致的，通常用一个短的随机字母和数字组成的字符串来代表。
登录是系统中最重要的一个功能之一，登录成功就能拥有系统的使用权利，所以设计一个安全的登录流程是十分必要的，那在一般登录中需要考虑哪些重要因素呢？我们一一列表一下。 使用https协议进行传输，虽然麻烦，但是很强的保护措施。 强制用户使用有一定强度且复杂的密码，必须要有大小写加数字，长度在8位以上，杜绝像123456之类的弱密码。 密码不要明文保存到数据库，CSDN当年使用明文存储密码导致用户密码被完全暴露，这个事件影响十分严重。所以造成不要使用明文存储密码，要使用像MD5之类的散列算法加密存储，加密之前
哈希是区块链技术和防篡改潜力的核心基础和最重要的方面，通过哈希算法可以保持记录以及查看数据的真实性和区块的完整性。这就是区块计数最重要技术特征的一部分。区块哈希并不包含在区块的数据结构中，在区块传输时就不会存在，也不会作为设备中区块链的一部分保存到节点的持久储存中，实际上区块哈希只是节点从网络接收到区块时自己去计算的，区块哈希可以作为块元数据的一部分储存在单独的数据库中没用雨索引和从磁盘中快速访问。
thr0cyte，Gr33k，花花，MrTools，R1ght0us，7089bAt
在涉及到密码存储问题上，应该加密/生成密码摘要存储，而不是存储明文密码。比如之前的600w csdn账号泄露对用户可能造成很大损失，因此应加密/生成不可逆的摘要方式存储。
最近在分析数据的时候，属实是一波好多折，在数据传输的时候也遇到了这么离谱的速度（使用的是国家重点实验室的集群）。
Python的hashlib提供了常见的摘要算法，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法。
生成两个不同的文件，但是这两个文件具有相同的md5哈希值。也就是最简单的哈希碰撞。
哈希算法（Hash function）又称散列算法，是一种从任何数据（文件、字符等）中创建小的数字“指纹”的方法。哈希算法只需满足把一个散列对象映射到另一个区间的需求，因此根据使用场景的不同，可将哈希算法分为加密哈希与非加密哈希。
原创文章，转载请注明：转载自Keegan小钢 并标明原文链接：http://keeganlee.me/post/reading/20160705 微信订阅号：keeganlee_me 写于2016-07-05
由于诸多原因，前几天抽了点时间在网上找了一些OpenSSL的资料。网上的资料鱼龙混杂，我看原创的并不多。部分资料是讲OpenSSL命令行的操作，另一部分(基本上转载的那样一两篇)是Linux下的OpenSSL的API。
Hash ，一般叫做散列算法，就是把任意长度的输入通过散列算法，变换成固定长度的输入，相当于一种压缩映射，将任意长度的消息压缩到某一固定长度的消息摘要的函数。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
