分布式存儲系統(tǒng)中的資源定位與數(shù)據(jù)存儲技術研究.pdf

1、在計算機網(wǎng)絡中存在著大量空閑的存儲資源，例如臺式機、服務器、工作站等，雖然這些節(jié)點的計算與存儲能力各異，但都可以向其他節(jié)點提供一定的共享存儲空間，并且這些節(jié)點也可能成為共享資源的訪問者。分布式存儲系統(tǒng)為了有效組織這些節(jié)點，并合理利用節(jié)點的資源，需要考慮節(jié)點異構性與連接異構性。
　　 節(jié)點異構性是指節(jié)點的存儲能力各異，存儲空間多的節(jié)點應當適當分擔更多的負載，并且數(shù)據(jù)存儲策略應當考慮到節(jié)點的負載狀況，并動態(tài)判斷和選擇合適的節(jié)點存儲。

2、連接異構性是指節(jié)點之間的連接耗費不同，同一實驗室中的兩個節(jié)點傳輸數(shù)據(jù)比起不同城市之間的兩個節(jié)點傳輸數(shù)據(jù)要更加快速，因此在存儲系統(tǒng)中對數(shù)據(jù)訪問時，應盡量避免通過高耗費的連接進行，優(yōu)先在本地相近節(jié)點中訪問數(shù)據(jù)。
　　 本文針對上述問題，基于結構化P2P系統(tǒng)中DHT技術所提供的資源定位功能，設計一個分布式存儲系統(tǒng)，向用戶提供面向文件的存儲與讀取服務。該存儲系統(tǒng)所基于的DHT協(xié)議Cycord，利用CCC圖的拓撲特征對節(jié)點進行組織，首先將

3、節(jié)點組成本地圈再將本地圈連接在一起，以方便區(qū)分節(jié)點之間低耗費的本地連接與高耗費的遠程連接。利用此特性，在DHT路由協(xié)議、關鍵字分配的動態(tài)負載均衡、文件裂片存儲位置選擇的動態(tài)負載均衡、文件裂片索引冗余存儲等方面都盡量減少通過遠程連接的數(shù)據(jù)傳輸，提高網(wǎng)絡資源的利用效率。
　　 本文的主要貢獻有：
　　 (1)基于CCC圖和DHT協(xié)議，設計了一個新的資源定位協(xié)議Cycord。理論與實驗數(shù)據(jù)的分析比較說明，在條件2L＜λ*(lo

4、g2m)滿足時，Cycord比Chord具有更低的查詢耗費。進一步對Cycord協(xié)議查詢產(chǎn)生的本地跳進行優(yōu)化，以適當擴大路由表規(guī)模的代價，進一步提升Cycord查詢效率。針對Cycord中關鍵字在節(jié)點間均衡分配的問題，提出了一種Cycord本地動態(tài)均衡策略，達到關鍵字在節(jié)點間遷移的目的。
　　 (2)在Cycord協(xié)議所提供的資源定位功能的基礎上，設計了一個面向文件存儲與讀取的分布式存儲系統(tǒng)。該系統(tǒng)通過一定的負載均衡策略、數(shù)據(jù)冗