一種分布式文件系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，每天都會(huì)產(chǎn)生很多結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。存儲(chǔ)設(shè)備作為存放數(shù)據(jù)的基礎(chǔ)設(shè)施，是計(jì)算機(jī)系統(tǒng)的重要組成部分之一，面臨成本高、可靠性很低、利用率低、可擴(kuò)展性低以及維護(hù)費(fèi)用昂貴的困窘。存儲(chǔ)系統(tǒng)逐漸從計(jì)算機(jī)系統(tǒng)中獨(dú)立出來，以一個(gè)單獨(dú)的模塊管理。從早期DEC的FAL到現(xiàn)在的GFS文件系統(tǒng)大致經(jīng)歷了三個(gè)階段：網(wǎng)絡(luò)文件系統(tǒng)，共享SAN文件系統(tǒng)和面向?qū)ο蟮奈募到y(tǒng)。網(wǎng)絡(luò)文件系統(tǒng)重點(diǎn)實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境下的文件共享和解決客戶端與文件服務(wù)器的交互

2、問題；共享SAN文件系統(tǒng)重點(diǎn)研究存儲(chǔ)系統(tǒng)的可擴(kuò)展性和面向SAN的共享文件系統(tǒng)；面向?qū)ο笪募到y(tǒng)重點(diǎn)研究對(duì)象存儲(chǔ)，并發(fā)訪問和元數(shù)據(jù)管理。從系統(tǒng)架構(gòu)來看主要有C/S體系結(jié)構(gòu)，共享存儲(chǔ)SAN架構(gòu)，基于集群的分布式架構(gòu)和 P2P對(duì)稱式體系結(jié)構(gòu)。其中基于集群的分布式文件系統(tǒng)是普遍采用的體系結(jié)構(gòu)，該結(jié)構(gòu)由三個(gè)組件構(gòu)成：客戶端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器。客戶端負(fù)責(zé)發(fā)送讀寫請求，緩存文件元數(shù)據(jù)和文件數(shù)據(jù)。元數(shù)據(jù)服務(wù)器負(fù)責(zé)管理元數(shù)據(jù)和處理客戶端的請求，是

3、整個(gè)系統(tǒng)的核心組件。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù)，保證數(shù)據(jù)的可用性和完整性。該架構(gòu)的好處是性能和容量能夠同時(shí)擴(kuò)展，系統(tǒng)規(guī)模具有很強(qiáng)的伸縮性。
　　本文設(shè)計(jì)和實(shí)現(xiàn)一種基于集中式元數(shù)據(jù)服務(wù)模型和基于集群的分布式文件系統(tǒng)。其中元數(shù)據(jù)服務(wù)主要由三個(gè)部分構(gòu)成：資源管理節(jié)點(diǎn)，元數(shù)據(jù)服務(wù)主節(jié)點(diǎn)和元數(shù)據(jù)服務(wù)集群。資源管理節(jié)點(diǎn)主要負(fù)責(zé)管理所有的元數(shù)據(jù)服務(wù)節(jié)點(diǎn)，通過心跳技術(shù)檢測元數(shù)據(jù)服務(wù)所有節(jié)點(diǎn)的狀態(tài)。當(dāng)主節(jié)點(diǎn)失效之后，資源管理節(jié)點(diǎn)迅速從元數(shù)據(jù)集群選擇

4、一個(gè)主節(jié)點(diǎn)恢復(fù)元數(shù)據(jù)服務(wù)，從而消除了系統(tǒng)的單點(diǎn)故障，提升了元數(shù)據(jù)服務(wù)的高可用性。數(shù)據(jù)服務(wù)器負(fù)責(zé)存放文件數(shù)據(jù)，數(shù)據(jù)以塊的形式管理。每個(gè)服務(wù)器進(jìn)程負(fù)責(zé)一個(gè)磁盤，對(duì)該磁盤上的數(shù)據(jù)塊進(jìn)行管理。本文通過把小文件合并成文件塊，不但降低小文件寫入操作的系統(tǒng)開銷，而且節(jié)約了磁盤空間。數(shù)據(jù)節(jié)點(diǎn)采用廉價(jià)的PC，磁盤資源也很寶貴。磁盤負(fù)載失衡會(huì)造成磁盤的浪費(fèi)，本文先對(duì)磁盤的負(fù)載進(jìn)行分析，然后采用遺傳算法對(duì)數(shù)據(jù)服務(wù)器集群所有磁盤進(jìn)行負(fù)載均衡，平衡磁盤之間的使用