传统分布式算法

传统的分布式算法通常是采用hash取模的方式来处理数据与服务器节点的映射关系。

举个栗子

假设有个图片为test.jpg，现在有3个服务器，我们称之为0服务器、1服务器、2服务器。首先我们对这张图片进行hash，可以拿到一个散列值，用散列值对3进行取模，取模结果为0或者1或者2。如果结果是0则将图片存入0服务器节点上，如果是1则存入1服务器节点，如果是2则存入2服务器节点。

按照上述的方式，此时假设我们有4个redis节点，分别是redis0、redis1、redis2、redis3。有20个数据，这20个数据的hash结果分别为1-20。然后对4进行取模，取模的结果就是对应数据存储的redis节点。最终数据的分配情况如图所示。

项目运行时我们发现redis节点不够用了，所以新增了一个节点，或者是说发现redis集群负载非常低，我们可以删除一个节点来节省资源。现在的场景是增加了一个节点，我们重新将这20个数据进行取模放置到5个redis节点中。

如图，其中1、2、3、20这四个数据在4个redis节点和5个redis节点中存储的服务器是一样的。所以新增了一个redis节点之后还能获取到这4个数据，因为存储位置没有发生变化。

结论

20个数据在新增了一个服务器节点后只有4个数据命中，命中率是：4/20 = 20%。

当然这里只是举例，实际生成环境数据量可能是百万级、千万级，在实际的生产环境中可能对cache节点会有所调整，比如删除一个cache节点，增加一个cache节点。那么使用传统的hash算法取模的方式将会对后台服务器造成巨大的冲击。很多缓存都没有命中，如果你的业务代码是穿透型的，那就会穿过cache直击db，很容易把数据库搞垮。接下来就看一下Consistent hashing一致性算法的精髓所在。

Consistent hashing

一致性hash算法，Consistent hashing算法早在1997年就在论文《Consistent hashing and random trees》提出。

设计目标是为了解决因特网中的热点(Hot spot)问题，现在一致性hash算法在分布式系统中也得到了广泛应用。

环形hash空间

通常hash算法都是将value映射在一个32位的key值当中。而一致性哈希则将整个哈希值空间组织成一个虚拟的圆环，取值范围是从0-2^32-1(即哈希值是一个32位无符号整形)。

把对象映射到hash空间

这里的对象就是我们真实存储的数据，以4个为例，分别为object1～object4。通过hash函数计算出hash值，分别为key1～key4，这四个值肯定会落在环形hash空间上。

把cache映射到hash空间

基本思想就是将对象和cache都映射到同一个hash数值空间中，并且使用相同的hash算法。即hash(cache A)=key A;

cache就是实际的缓存服务器节点，以3个为例，对cache的hash计算一般的方法可以使用cache的机器的IP地址或者机器名作为hash输入，也可以引入更多的因子，比如端口号等。最终cache通过同一个hash算法也落在对象所在的相同的环形hash空间上。

把对象映射到cache

接下来就是要考虑如何把对象映射到cache上，具体的做法就是找到对象所在环形空间的位置，顺时针出发，碰到的第一个cache节点就作为该对象的存储节点。因为对象的hash和cache的hash都是固定的，因此某个对象存储的cache必然是唯一并且确定的。这样就找到了数据映射到cache的一个方案(如图虚线箭头所示)。

移除Cache

在实际的生产环境中通常对cache节点会有所调整，我们来看下一致性哈希算法是如何处理的。

比如我们移除cache B，此时只有object4无法命中，但是还是可以通过这个算法继续找到新的cache节点cache C，object4就会存储到cache C上。所以对于移除cache B来说，它影响的范围仅仅是它和逆时针到达的第一个cahce节点即cache A之间的数据(如图所示的透明区域)，对于环形的其他数据节点都不会影响，影响范围是非常小的。

添加Cache

比如我们在cache B和cache C之间新增了一个cache D，相应的object2就得更换存储的cache节点，连接到了新的cache D上。对于添加的cache D其影响的范围是它和逆时针到达的第一个cahce节点即cache B之间的数据(如图所示的透明区域)。

所以对于cache变动，无论是添加cache节点还是删除cache节点，它影响的范围都是很小的。当然这里还有优化的空间。

理想与现实

理想非常丰满，现实非常骨感。左图就是理想中的情况，A、B、C节点分布的非常均匀。而现实呢有可能是右图这样，显然大量的数据都会落在A节点上，B和C节点存储的数据会较少，如果考虑随机性而言的话。这样会导致A节点服务器很忙，负载很高，而B、C比较清闲。这是由于hash的倾斜性导致的。

Hash倾斜性

假设有6个数据，它们是随机均匀分布在环形hash空间上，而cache的分布则比较紧密。那么根据这个算法规则数据1、2、3、4、6则都是存储在A节点上，5存储在B节点上，C节点没有数据。这就是hash倾斜性。hash倾斜性导致了A、B、C这三个节点负载、性能都不均匀。

虚拟节点

为了解决hash倾斜性带来的问题，在这个算法中就引入了虚拟节点。来看一下虚拟节点的算法原理。

假设有两个数据object1和object2，对它们进行hash，我们增加了6个虚拟节点分别为v1～v6，两个对象hash之后分别落到了v2和v5虚拟节点上，然后对虚拟节点进行rehash，此时v1、v2映射到了N1这个真实节点上，v3、v4映射到了N2节点上，v5、v6映射到了N3节点上。通过虚拟节点把真实的服务器节点进行放大，最终object1存储到了N1节点上，object2存在了N3节点上。

其工作原理就是将一个物理节点拆分为多个虚拟节点，并且同一个物理节点的虚拟节点尽量均匀分布在Hash环上。通过虚拟节点就解决了服务节点少时数据倾斜的问题。

解决hash倾斜性

引入了虚拟节点后，对hash倾斜性的解决方案是怎样的呢？

比如我们增加了6个虚拟节点，这6个虚拟节点最终映射到了3台真实的cache节点，如图所示。我们对数据进行hash后落在了环形空间上，通过算法规则最终1、3数据落在A上，4、5落在B上，2、6落在C节点上。 相对均匀了一些。

但是虚拟节点在rehash时也存在hash倾斜性，我们可以通过调整虚拟节点的数量，把真实节点和虚拟节点分配一个良好的比例，可以想像真实节点和真实节点间都存在大量的虚拟节点，随着节点越来越多，数据越来越多，那么分布会越来越均匀。并且在添加节点和删除节点时影响也会降到最低。

命中率计算

命中率计算公式：(1-n/(n + m)) * 100%

n：服务器台数

m：服务器变动台数

可以看出当变动的服务器台数越大，命中率就会越大。所以影响就会越来越小。随着分布式集群不断扩大时，这个算法的优点就会很自然的迸发出来。

总结

一致性哈希算法首先将整个哈希值空间(0-2^32-1)组织成一个虚拟的圆环，然后将存储对象进行hash，得到的值映射到圆环空间上。然后使用相同的hash算法对cache服务器节点进行hash，并映射到相同的圆环上。然后从数据映射到的位置开始顺时针查找，将数据保存到找到的第一个服务器节点上。

Consistent hashing已经最大限度的抑制了键的重新分布，而且还可以采用虚拟节点的思想让每个实际节点都配置100-500个虚拟节点，这样就能抑制分布不均匀了。同时这个算法已经最大限度的减小了服务器增减时的缓存重新分布。

---

• ← Previous Post
• Next Post →

---