我们都知道，Nginx支持负载均衡，可以很方便的帮助我们进行水平扩容，然而它究竟是依据什么原则进行请求的分发，其中又有哪些负载均衡算法可供选择和配置，今天就让我们好好来了解一下。
按照常用的hash算法来将对应的key哈希到一个具有232次方个桶的空间中，即0~(232)-1的数字空间中。现在我们可以将这些数字头尾相连，想象成一个闭合的环形。如下图
当单个节点（缓存服务器等）的能力达到上限，一般需要增加节点来打破瓶颈。在分布式系统中，扩容缩容操作极为常见。为了保证数据的均匀，一般情况会采用对key值hash，然后取模的方式，然后根据结果，确认数据落到哪台节点上。如：hash(key)%N，这的确实现了初步的分布式，数据均匀分散到了各个节点上，流量请求也均匀的分散到了各个节点；但出现以下情况：
一致性Hash算法背景，一致性哈希算法在1997年由麻省理工学院中提出的，设计目标是为了解决分布式缓存数据变动和映射问题，某个机器宕机了，分母数量改变了，自然取余数不OK了。
简单粗暴，直接有效。只需要预估好数据规划好节点。就能保证一段时间的数据支撑。使用HASH算法让固定的一部分请求落到同一台服务器上，这样每台服务器固定处理一部分请求，起到负载均衡+分而治之的作用。
原来规划好的节点，进行扩容或者缩容就比较麻烦了，不管扩缩，每次数据变动导致节点有变动，映射关系需要重新进行计算，在服务器个数固定不变时没有问题，如果需要弹性扩容或故障停机的情况下，原来的取模公式就会发生变化：
一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。
前几天在技术群里，看到有小伙伴在讨论一致性hash算法的问题，正好今天以这个为话题，简单介绍下它的原理。下边我们以分布式缓存中经典场景举例，面试中也是经常提及的一些话题，看看什么是一致性hash算法以及它有那些过人之处。
一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。 一致性hash算法提出了在动态变化的Cache环境中，判定哈希算法好坏的四个定义： 1、平衡性(Balance)：平衡性是指哈希的结果能够尽可能分布到所有的缓冲中去，这样可以使得所有的缓冲空间都得到利用。很多哈希算法都
一致性Hash算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点（Hot Spot）问题，初衷和CARP十分相似。一致性Hash修正了CARP使用的简单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2P环境中真正得到应用。
近年来，随着云计算和大数据等概念的出现，分布式系统得到了普及。有这样一种系统为许多高流量动态网站和 Web 应用程序提供分布式缓存，这其中就利用了一种称为一致性Hash的算法。
如果有1~2亿条数据需要缓存，那如何设计这个存储案例呢？单机是100%不可能的，肯定得是分布式存储，那具体如和实现呢？
比如：一个服务器节点挂了，计算公式从hash（key）% 3变成了hash（key）% 2，结果会发生变化，此时想要访问一个key，这个key公开选拔的缓存位置大概率会发生改变，那么之前缓存key的数据也会失去作用与意义。
写这篇博客是因为之前面试的一个问题： 如果memcached集群需要增加机器或者减少机器，那么其他机器上的数据怎么办？ 最后了解到使用一致性hash算法可以解决，下面一起来学习下吧。 声明与致谢： 本文转载于朱双印博主的个人日志《白话解析：一致性哈希算法 consistent hashing》一文。 ---- 一. 引子 在了解一致性哈希算法之前，最好先了解一下缓存中的一个应用场景，了解了这个应用场景之后，再来理解一致性哈希算法，就容易多了，也更能体现出一致性哈希算法的优点，那么，我们先来描述
redis系列之——分布式锁 redis系列之——缓存穿透、缓存击穿、缓存雪崩 redis系列之——Redis为什么这么快？ redis系列之——数据持久化（RDB和AOF） redis系列之——一致性hash算法 redis系列之——高可用（主从、哨兵、集群） redis系列之——事物及乐观锁 redis系列之——数据类型geospatial：你隔壁有没有老王？ redis系列之——数据类型bitmaps：今天你签到了吗？ 布隆过滤器是个啥！
1.单调性（新增或者减少映射节点时，尽量不影响原有映射关系） 2.平衡性（尽量均匀分布）
什么是Hash一致性算法？面试的时候被问到了，因为不了解，所以就没有回答上。在此为大家整理一下什么是Hash一致性算法，希望对大家有帮助！今天的分享先从历史的角度来一步步分析，探讨一下到底什么是Hash一致性算法！
最近有小伙伴跑过来问什么是Hash一致性算法，说面试的时候被问到了，因为不了解，所以就没有回答上，问我有没有相应的学习资料推荐，当时上班，没时间回复，晚上回去了就忘了这件事，今天突然看到这个，加班为大家整理一下什么是Hash一致性算法，希望对大家有帮助！文末送书，长按抽奖助手小程序即可参与，祝君好运！
如今云计算、大数据、物联网、AI的兴起，使得分布系统得到了前所未有的广泛应用，然而由于分布式系统具有极高的复杂度，带来了许多难题，一致性哈希就是为了解决分布式难题之一应运而生的，本篇主要图示讲解一致性哈希的原理及其应用，助力码农变身。
这两天看到技术群里，有小伙伴在讨论一致性hash算法的问题，正愁没啥写的题目就来了，那就简单介绍下它的原理。下边我们以分布式缓存中经典场景举例，面试中也是经常提及的一些话题，看看什么是一致性hash算法以及它有那些过人之处。
一致性hash算法是分布式中一个常用且好用的分片算法、或者数据库分库分表算法。现在的互联网服务架构中，为避免单点故障、提升处理效率、横向扩展等原因，分布式系统已经成为了居家旅行必备的部署模式，所以也产出了几种数据分片的方法： 1.取模，2.划段，3.一致性hash 前两种有很大的一个问题就是需要固定的节点数，即节点数不能变，不能某一个节点挂了或者实时增加一个节点，变了分片规则就需要改变，需要迁移的数据也多。 那么一致性hash是怎么解决这个问题的呢？ 一致性hash：对节点和数据，都做一次hash运算，然后比较节点和数据的hash值，数据值和节点最相近的节点作为处理节点。为了分布得更均匀，通过使用虚拟节点的方式，每个节点计算出n个hash值，均匀地放在hash环上这样数据就能比较均匀地分布到每个节点。 1、原理 (1)环形Hash空间 按照常用的hash算法来将对应的key哈希到一个具有2^32次方个桶的空间中，即0~(2^32)-1的数字空间中。 现在我们可以将这些数字头尾相连，想象成一个闭合的环形。如下图
Hash（哈希），亦称作散列或杂凑，指将输入通过散列算法变换成对应的散列值。这种转换是一种压缩映射，也就是说散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，这种现象称为碰撞，所以不可能从散列值来确定唯一的输入值。
最近有小伙伴跑过来问什么是Hash一致性算法，说面试的时候被问到了，因为不了解，所以就没有回答上，问我有没有相应的学习资料推荐，当时上班，没时间回复，晚上回去了就忘了这件事，今天突然看到这个，加班为大家整理一下什么是Hash一致性算法，希望对大家有帮助！
互联网公司中，绝大部分都没有马爸爸系列的公司那样财大气粗，他们即没有强劲的服务器、也没有钱去购买昂贵的海量数据库。那他们是怎么应对大数据量高并发的业务场景的呢？ 这个和当前的开源技术、海量数据架构都有着不可分割的关系。比如通过mysql、nginx等开源软件，通过架构和低成本的服务器搭建千万级别的用户访问系统。 怎么样搭建一个好的系统架构，这个话题我们能聊上个七天七夜。这里我主要结合Redis集群来讲一下一致性Hash的相关问题。
近年来B2C、O2O等商业概念的提出和移动端的发展，使得分布式系统流行了起来。分布式系统相对于单系统，解决了流量大、系统高可用和高容错等问题。功能强大也意味着实现起来需要更多技术的支持。例如系统访问层的负载均衡，缓存层的多实例主从复制备份，数据层的分库分表等。我们以负载均衡为例，常见的负载均衡方法有很多，但是它们的优缺点也都很明显：
假设现在有5台服务器，然后有10万份的文件数据，想这些文件平均的分布在5台服务器上，平均每台2万份，用来分摊缓存压力。如果仅仅只是直接把文件分布在这5台服务器，自然是可以的，但是当要读取文件的时候，需要访问这5台服务器，因为不知道某个文件具体放在了哪台服务器，这就导致了效率低下，也没有起到缓存的作用了。
上图中，假设我们查找的是”a.png”，由于有4台服务器（排除从库），因此公式为hash(a.png) % 4 = 2 ，可知定位到了第2号服务器，这样的话就不会遍历所有的服务器，大大提升了性能！
FNV哈希算法有如下两种，FNV-1a相比FNV-1，散列分布更好。二者不同点为：for循环两行代码的顺序相反
一致性哈希算法（Consistent Hashing）最早在论文《Consistent Hashing and Random Trees: Distributed Caching Protocols for Relieving Hot Spots on the World Wide Web》中被提出。简单来说，一致性哈希将整个哈希值空间组织成一个虚拟的圆环，如假设某哈希函数H的值空间为0-2^32-1（即哈希值是一个32位无符号整形），整个哈希空间环如下：
在研究分布式存储Ceph的CRUSH算法时，看到文章介绍它是一种特殊的一致性HASH算法，于是我便开始研究一致性HASH算法，做先期准备，发现理念确实接近,所以先研究一致性HASH算法的实现思路。
常见的几种负载均衡算法 📷 1、轮询法 将请求按顺序轮流地分配到后端服务器上，它均衡地对待后端的每一台服务器，而不关心服务器实际的连接数和当前的系统负载。 2、随机法 通过系统的随机算法，根据后端服务器的列表大小值来随机选取其中的一台服务器进行访问。由概率统计理论可以得知，随着客户端调用服务端的次数增多， 其实际效果越来越接近于平均分配调用量到后端的每一台服务器，也就是轮询的结果。 3、源地址哈希法 源地址哈希的思想是根据获取客户端的IP地址，通过哈希函数计算得到的一个数值，用该数值对服务器列表的大小进行取
常见的几种负载均衡算法 1、轮询法 将请求按顺序轮流地分配到后端服务器上，它均衡地对待后端的每一台服务器，而不关心服务器实际的连接数和当前的系统负载。 2、随机法 通过系统的随机算法，根据后端服务器的
1、Public Key Infrastructure（公钥基础设施），是一个包括硬件、软件、人员、策略和规程的集合，用来实现基于公钥密码体制的密钥和证书的产生、管理、存储、分发和撤销等功能。
这些定义和要求都比较理论，可能还是不好理解，我拿MD5这种哈希算法来具体说明一下。
很早的时候就听过这个算法，也搜过相关的博客，但一直没搞懂这个算法是用来干嘛的；现在的公司面试的时候CTO跟我聊了一下hashcode紧接着问我对一致性hash有没有了解，去随手记面试时，面试官也问了一致性hash，面试的时候都没答出来，面完用手机查了一下一致性hash，看到很多人拿那个圈做比喻也一下子没看懂；直到入职后，有天中午跟CTO一起吃饭，又问了他如何去理解一致性hash， 当时CTO解释了一下，说一致性hash其实很简单，但我也只是听得半懂，还是没完全这算法是个什么鬼；但我记下了他当时说的那句话：
哈希表就是一种以 键-值(key-indexed) 存储数据的结构，我们只要输入待查找的值即key，即可查找到其对应的值。
缺点：没有考虑机器的性能问题，根据木桶最短木板理论，集群性能瓶颈更多的会受性能差的服务器影响。
当时的情形是这样的，先介绍一下自己的项目。然后介绍完项目背景以后，因为有一个登陆模块。于是乎有了如下问题
Sentinel为Redis提供高可用。利用Sentinel，在无人干预的情况下，可用让Redis服务抵御一定程度的故障。主要发挥以下几个方面的作用:
一致性Hash算法背景 一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。 但现在一致性hash算法在分布式系统中也得到了广泛应用，研究过memcached缓存数据库的人都知道，memcached服务器端本身不提供分布式cache的一致性，而是由客户端来提供，具体在计算一致性hash时采用如
一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。
布隆过滤器：(布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量(位图)和一系列随机映射函数（哈希函数）。
本文故事绝对真实，如有雷同，绝对不是巧合！ 话说前几天有一次，某大厂的二面。然后呢，烟哥那天刚好有事，所以去不了。于是就约了一场视频面试了！
负载均衡 建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展 网络设备和 服务器的带宽、增加 吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
