大規(guī)模分布式存儲(chǔ)系統(tǒng)副本管理研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)迅速的發(fā)展，數(shù)據(jù)量呈指數(shù)增長(zhǎng)，用戶對(duì)海量數(shù)據(jù)的存儲(chǔ)和處理需求加大，傳統(tǒng)的數(shù)據(jù)庫集中存儲(chǔ)已經(jīng)不能滿足需求，利用網(wǎng)絡(luò)進(jìn)行分布式存儲(chǔ)成為趨勢(shì)。如何在復(fù)雜的網(wǎng)絡(luò)環(huán)境中搭建可用和可靠的分布式存儲(chǔ)系統(tǒng)，已經(jīng)成為熱點(diǎn)問題。P2P技術(shù)的出現(xiàn)和發(fā)展推動(dòng)了網(wǎng)絡(luò)存儲(chǔ)技術(shù)的發(fā)展。如今，國際互聯(lián)網(wǎng)公司又提出“云存儲(chǔ)”的概念，向用戶提供可靠方便的服務(wù)。
　　現(xiàn)有的許多分布式存儲(chǔ)系統(tǒng)，采用集中式管理，沒有充分考慮和利用客戶端之間的通信帶寬提供更高效的

2、服務(wù)。本文首先對(duì)分布式存儲(chǔ)和P2P技術(shù)進(jìn)行分析，結(jié)合當(dāng)前國內(nèi)外研究現(xiàn)狀和發(fā)展態(tài)勢(shì)，設(shè)計(jì)出高效的基于P2P的分布式海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，由端系統(tǒng)以及服務(wù)器系統(tǒng)構(gòu)成覆蓋網(wǎng)絡(luò)，并且向終端存儲(chǔ)演進(jìn)。
　　本文的主要工作有以下幾點(diǎn)：
　　第一，通過對(duì)現(xiàn)有 P2P技術(shù)和分布式存儲(chǔ)技術(shù)的研究與分析，設(shè)計(jì)了出了一個(gè)基于 P2P的分布式存儲(chǔ)系統(tǒng)，不再由中心節(jié)點(diǎn)對(duì)元數(shù)據(jù)進(jìn)行集中管理，而是將元數(shù)據(jù)的存儲(chǔ)和管理分散到系統(tǒng)的各個(gè)節(jié)點(diǎn)上。實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的基本

3、功能，包括文件的發(fā)布、更新、刪除和下載。
　　第二，副本管理模塊的設(shè)計(jì)和實(shí)現(xiàn)。在復(fù)雜的網(wǎng)絡(luò)環(huán)境中，節(jié)點(diǎn)間存在傳輸速率和帶寬的區(qū)別，也有節(jié)點(diǎn)失效的風(fēng)險(xiǎn)，副本管理模塊依據(jù)客戶端所發(fā)送二次請(qǐng)求頻率對(duì)副本的冗余度進(jìn)行管理，在保證數(shù)據(jù)的可靠性的前提下又不占用過多存儲(chǔ)空間。副本管理模塊還對(duì)副本的一致性進(jìn)行管理，保證用戶的下載和更新等操作都對(duì)統(tǒng)一的版本進(jìn)行，但是多個(gè)副本的一致性更新操作將占用較大網(wǎng)絡(luò)帶寬，本模塊實(shí)行可延后機(jī)制，在網(wǎng)絡(luò)空閑或用戶需