PPDSS存儲系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著Internet的高速發(fā)展，各種形式的新型應(yīng)用層出不窮。特別是以Web2.0為代表的新一代互聯(lián)網(wǎng)應(yīng)用，給傳統(tǒng)的數(shù)據(jù)存儲模式帶來了極大的挑戰(zhàn)。以往的Internet服務(wù)幾乎都基于Client/Server模式，資源集中存儲在服務(wù)器端。隨著存儲內(nèi)容的急劇增長，單靠服務(wù)器已無法滿足同樣海量的互聯(lián)網(wǎng)用戶的訪問需求。 結(jié)合近年來流行的對等計算(P2P)技術(shù)，我們開發(fā)了基于專有存儲服務(wù)器的、面向Internet用戶的數(shù)據(jù)存儲服務(wù)。通過在

2、廣域網(wǎng)部署的少量存儲服務(wù)器，形成了可靠的結(jié)構(gòu)化覆蓋網(wǎng)絡(luò)(DHT)，向用戶提供可保證的資源查找服務(wù)。存儲服務(wù)器負(fù)責(zé)文件分片副本的存儲與分發(fā)，通過少量的副本冗余即可保證數(shù)據(jù)的可靠存儲，避免了數(shù)據(jù)的單點(diǎn)故障，提供了極高的可用性。引入自適應(yīng)的副本冗余管理算法，智能地控制副本的數(shù)量，引導(dǎo)副本向臨近用戶的存儲服務(wù)器遷移，更能適應(yīng)未來的移動互聯(lián)網(wǎng)業(yè)務(wù)。通過讓下載同一文件的用戶構(gòu)成P2P覆蓋網(wǎng)絡(luò)，利用它們的邊緣帶寬向其它客戶提供上傳服務(wù)，有效地減輕了S

3、erver的壓力。即使面對海量的用戶的請求，系統(tǒng)也能應(yīng)付，保證了良好的可擴(kuò)展性。 為了保證存儲服務(wù)器的高性能與高可靠性，網(wǎng)絡(luò)IO采用非阻塞的異步處理機(jī)制，基于epoll的Reactor框架。系統(tǒng)中存在大量的定時器，在Reactor框架中實現(xiàn)了高效的定時器管理。磁盤IO的處理采用Linuxaio來實現(xiàn)，在其之上構(gòu)建了高效的磁盤緩存機(jī)制。通過UDP套接字實現(xiàn)了Chord查找算法。 本系統(tǒng)分為服務(wù)器(ChuakServer)與

4、客戶端(Client)，ChunkServer以Linux2.6為開發(fā)平臺，采用C++作為開發(fā)語言，運(yùn)用面向?qū)ο蟮某绦蛟O(shè)計思想開發(fā)完成。如再加強(qiáng)對實際網(wǎng)絡(luò)中的異常情況處理的話，可以作為基礎(chǔ)的存儲平臺在Internet部署并向廣大用戶提供可靠的存儲服務(wù)。 為了減輕存儲服務(wù)器的服務(wù)壓力和增加系統(tǒng)的吞吐量，我們原創(chuàng)性地設(shè)計并實現(xiàn)了基于分片放大能力的存儲服務(wù)器直接鄰居節(jié)點(diǎn)選擇算法(PA-DNNS)。通過選取分片放大能力較大的peer，允