一致性哈希算法在1997年由麻省理工學(xué)院提出的一種分布式哈希(DHT)實(shí)現(xiàn)算法,設(shè)計目標(biāo)是為了解決因特網(wǎng)中的熱點(diǎn)(Hot spot)問題,初衷和CARP十分類似。一致性哈希修正了CARP使用的簡 單哈希算法帶來的問題,使得分布式哈希(DHT)可以在P2P環(huán)境中真正得到應(yīng)用。
一致性hash算法提出了在動態(tài)變化的Cache環(huán)境中,判定哈希算法好壞的四個定義:
1、平衡性(Balance):平衡性是指哈希的結(jié)果能夠盡可能分布到所有的緩沖中去,這樣可以使得所有的緩沖空間都得到利用。很多哈希算法都能夠滿足這一條件。
2、單調(diào)性(Monotonicity):單調(diào)性是指如果已經(jīng)有一些內(nèi)容通過哈希分派到了相應(yīng)的緩沖中,又有新的緩沖加入到系統(tǒng)中。哈希的結(jié)果應(yīng)能夠保證原有已分配的內(nèi)容可以被映射到原有的或者新的緩沖中去,而不會被映射到舊的緩沖集合中的其他緩沖區(qū)。
3、分散性(Spread):在分布式環(huán)境中,終端有可能看不到所有的緩沖,而是只能看到其中的一部分。當(dāng)終端希望通過哈希過程將內(nèi)容映射到緩沖上時,由于不同終端所見的緩沖范圍有可能不同,從而導(dǎo)致哈希的結(jié)果不一致,最終的結(jié)果是相同的內(nèi)容被不同的終端映射到不同的緩沖區(qū)中。這種情況顯然是應(yīng)該避免的,因?yàn)樗鼘?dǎo)致相同內(nèi)容被存儲到不同緩沖中去,降低了系統(tǒng)存儲的效率。分散性的定義就是上述情況發(fā)生的嚴(yán)重程度。好的哈希算法應(yīng)能夠盡量避免不一致的情況發(fā)生,也就是盡量降低分散性。
4、負(fù)載(Load):負(fù)載問題實(shí)際上是從另一個角度看待分散性問題。既然不同的終端可能將相同的內(nèi)容映射到不同的緩沖區(qū)中,那么對于一個特定的緩沖區(qū)而言,也可能被不同的用戶映射為不同 的內(nèi)容。與分散性一樣,這種情況也是應(yīng)當(dāng)避免的,因此好的哈希算法應(yīng)能夠盡量降低緩沖的負(fù)荷。
在分布式集群中,對機(jī)器的添加刪除,或者機(jī)器故障后自動脫離集群這些操作是分布式集群管理最基本的功能。如果采用常用的hash(object)%N算法,那么在有機(jī)器添加或者刪除后,很多原有的數(shù)據(jù)就無法找到了,這樣嚴(yán)重的違反了單調(diào)性原則。接下來主要講解一下一致性哈希算法是如何設(shè)計的:
環(huán)形Hash空間
按照常用的hash算法來將對應(yīng)的key哈希到一個具有2^32次方個桶的空間中,即0~(2^32)-1的數(shù)字空間中?,F(xiàn)在我們可以將這些數(shù)字頭尾相連,想象成一個閉合的環(huán)形。如下圖
把數(shù)據(jù)通過一定的hash算法處理后映射到環(huán)上
現(xiàn)在我們將object1、object2、object3、object4四個對象通過特定的Hash函數(shù)計算出對應(yīng)的key值,然后散列到Hash環(huán)上。如下圖:
Hash(object1) = key1;Hash(object2) = key2;Hash(object3) = key3;Hash(object4) = key4;
將機(jī)器通過hash算法映射到環(huán)上
在采用一致性哈希算法的分布式集群中將新的機(jī)器加入,其原理是通過使用與對象存儲一樣的Hash算法將機(jī)器也映射到環(huán)中(一般情況下對機(jī)器的hash計算是采用機(jī)器的IP或者機(jī)器唯一的別名作為輸入值),然后以順時針的方向計算,將所有對象存儲到離自己最近的機(jī)器中。
假設(shè)現(xiàn)在有NODE1,NODE2,NODE3三臺機(jī)器,通過Hash算法得到對應(yīng)的KEY值,映射到環(huán)中,其示意圖如下:
Hash(NODE1) = KEY1;Hash(NODE2) = KEY2;Hash(NODE3) = KEY3;
通過上圖可以看出對象與機(jī)器處于同一哈希空間中,這樣按順時針轉(zhuǎn)動object1存儲到了NODE1中,object3存儲到了NODE2中,object2、object4存儲到了NODE3中。在這樣的部署環(huán)境中,hash環(huán)是不會變更的,因此,通過算出對象的hash值就能快速的定位到對應(yīng)的機(jī)器中,這樣就能找到對象真正的存儲位置了。
機(jī)器的刪除與添加
普通hash求余算法最為不妥的地方就是在有機(jī)器的添加或者刪除之后會照成大量的對象存儲位置失效,這樣就大大的不滿足單調(diào)性了。下面來分析一下一致性哈希算法是如何處理的。
1.節(jié)點(diǎn)(機(jī)器)的刪除
以上面的分布為例,如果NODE2出現(xiàn)故障被刪除了,那么按照順時針遷移的方法,object3將會被遷移到NODE3中,這樣僅僅是object3的映射位置發(fā)生了變化,其它的對象沒有任何的改動。如下圖:
2.節(jié)點(diǎn)(機(jī)器)的添加
如果往集群中添加一個新的節(jié)點(diǎn)NODE4,通過對應(yīng)的哈希算法得到KEY4,并映射到環(huán)中,如下圖:
通過按順時針遷移的規(guī)則,那么object2被遷移到了NODE4中,其它對象還保持這原有的存儲位置。通過對節(jié)點(diǎn)的添加和刪除的分析,一致性哈希算法在保持了單調(diào)性的同時,還是數(shù)據(jù)的遷移達(dá)到了最小,這樣的算法對分布式集群來說是非常合適的,避免了大量數(shù)據(jù)遷移,減小了服務(wù)器的的壓力。
平衡性
根據(jù)上面的圖解分析,一致性哈希算法滿足了單調(diào)性和負(fù)載均衡的特性以及一般hash算法的分散性,但這還并不能當(dāng)做其被廣泛應(yīng)用的原由,因?yàn)檫€缺少了平衡性。下面將分析一致性哈希算法是如何滿足平衡性的。hash算法是不保證平衡的,如上面只部署了NODE1和NODE3的情況(NODE2被刪除的圖),object1存儲到了NODE1中,而object2、object3、object4都存儲到了NODE3中,這樣就照成了非常不平衡的狀態(tài)。在一致性哈希算法中,為了盡可能的滿足平衡性,其引入了虛擬節(jié)點(diǎn)。
——“虛擬節(jié)點(diǎn)”( virtual node )是實(shí)際節(jié)點(diǎn)(機(jī)器)在 hash 空間的復(fù)制品( replica ),一實(shí)際個節(jié)點(diǎn)(機(jī)器)對應(yīng)了若干個“虛擬節(jié)點(diǎn)”,這個對應(yīng)個數(shù)也成為“復(fù)制個數(shù)”,“虛擬節(jié)點(diǎn)”在 hash 空間中以hash值排列。
以上面只部署了NODE1和NODE3的情況(NODE2被刪除的圖)為例,之前的對象在機(jī)器上的分布很不均衡,現(xiàn)在我們以2個副本(復(fù)制個數(shù))為例,這樣整個hash環(huán)中就存在了4個虛擬節(jié)點(diǎn),最后對象映射的關(guān)系圖如下:
根據(jù)上圖可知對象的映射關(guān)系:object1->NODE1-1,object2->NODE1-2,object3->NODE3-2,object4->NODE3-1。通過虛擬節(jié)點(diǎn)的引入,對象的分布就比較均衡了。那么在實(shí)際操作中,正真的對象查詢是如何工作的呢?對象從hash到虛擬節(jié)點(diǎn)到實(shí)際節(jié)點(diǎn)的轉(zhuǎn)換如下圖:
“虛擬節(jié)點(diǎn)”的hash計算可以采用對應(yīng)節(jié)點(diǎn)的IP地址加數(shù)字后綴的方式。例如假設(shè)NODE1的IP地址為192.168.1.100。引入“虛擬節(jié)點(diǎn)”前,計算 cache A 的 hash 值:
Hash(“192.168.1.100”);
引入“虛擬節(jié)點(diǎn)”后,計算“虛擬節(jié)”點(diǎn)NODE1-1和NODE1-2的hash值:
Hash(“192.168.1.100#1”); // NODE1-1Hash(“192.168.1.100#2”); // NODE1-2
-
機(jī)器
+關(guān)注
關(guān)注
0文章
780瀏覽量
40711 -
Hash
+關(guān)注
關(guān)注
0文章
32瀏覽量
13195 -
哈希算法
+關(guān)注
關(guān)注
1文章
56瀏覽量
10744
原文標(biāo)題:5分鐘理解一致性哈希算法
文章出處:【微信號:TheAlgorithm,微信公眾號:算法與數(shù)據(jù)結(jié)構(gòu)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論