基于網(wǎng)絡(luò)編碼的分布式文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著電子信息技術(shù)的發(fā)展，新的信息以一種前所未有的速率在產(chǎn)生和處理，同時(shí)網(wǎng)絡(luò)也大大加快了信息傳播的速度，這使得對(duì)海量信息的處理成為了人們的一種迫切需求。僅僅使用本地存儲(chǔ)應(yīng)對(duì)這些信息會(huì)需要很多功能和性能的限制，如低可靠性、較差的移動(dòng)性和不利于文件共享等，人們開始傾向于使用網(wǎng)絡(luò)存儲(chǔ)這種新手段。分布式文件系統(tǒng)是網(wǎng)絡(luò)存儲(chǔ)的基礎(chǔ)組成部分，其研究也受到了學(xué)界和工業(yè)界的廣泛重視。
　　 分布式文件系統(tǒng)通常能夠提供高可靠性的數(shù)據(jù)存儲(chǔ)，并具有良好的

2、擴(kuò)展性。
　　 為實(shí)現(xiàn)這些功能，需要在存儲(chǔ)層面的數(shù)據(jù)放置機(jī)制上進(jìn)行針對(duì)性的設(shè)計(jì)。已有的手段主要包括復(fù)制機(jī)制和糾錯(cuò)編碼，它們都有其各自的適用范圍和局限性。本文的研究是在數(shù)據(jù)存儲(chǔ)層面使用網(wǎng)絡(luò)編碼方法，對(duì)文件進(jìn)行分段分塊編碼存放，并且在系統(tǒng)功能的設(shè)計(jì)實(shí)現(xiàn)上給出網(wǎng)絡(luò)編碼的方案。本文的分布式文件系統(tǒng)提供了統(tǒng)一的命名空間，遵守位置無(wú)關(guān)性和透明性，能實(shí)現(xiàn)基本的文件和目錄操作，并保證了系統(tǒng)內(nèi)部實(shí)現(xiàn)對(duì)用戶的透明性。系統(tǒng)采用了集中式的體系結(jié)構(gòu)，由索

3、引服務(wù)器、存儲(chǔ)節(jié)點(diǎn)和客戶端組成。借助網(wǎng)絡(luò)編碼的機(jī)制，索引服務(wù)器可以維護(hù)系統(tǒng)在運(yùn)行時(shí)的負(fù)載均衡性，并且在發(fā)現(xiàn)數(shù)據(jù)失效時(shí)對(duì)節(jié)點(diǎn)和數(shù)據(jù)進(jìn)行恢復(fù)，在有新節(jié)點(diǎn)加入時(shí)，索引服務(wù)器發(fā)起再均衡化過(guò)程，保證了系統(tǒng)具有良好的擴(kuò)展性。
　　 本文首先介紹了分布式文件系統(tǒng)的研究現(xiàn)狀，及其具有的功能和分類，在對(duì)存儲(chǔ)層常用的數(shù)據(jù)放置冗余策略進(jìn)行介紹之后，給出了本文采用的網(wǎng)絡(luò)編碼方式的數(shù)據(jù)放置方案；之后詳細(xì)描述了系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)，以及對(duì)負(fù)載均衡和節(jié)點(diǎn)恢復(fù)問題