分布式文件系統(tǒng)元數(shù)據(jù)高效索引機制設(shè)計與實現(xiàn).pdf

1、隨著數(shù)據(jù)量呈爆炸式的增長,文件系統(tǒng)的規(guī)模也在不斷膨脹,系統(tǒng)中文件數(shù)量達(dá)到千萬甚至上億,分布式文件系統(tǒng)能很好的解決大規(guī)模文件存儲的問題,如Google的GFS(Google File System)文件系統(tǒng)等。文件系統(tǒng)中文件元數(shù)據(jù)是描述文件基本特征的數(shù)據(jù),文件系統(tǒng)管理員和用戶都需要通過文件元數(shù)據(jù)來快速定位需要的文件,如何組織和索引分布式文件系統(tǒng)的海量元數(shù)據(jù)是一項亟待解決的問題。
　　為了解決文件系統(tǒng)海量元數(shù)據(jù)高效訪問與查找的問題,在

2、分析了元數(shù)據(jù)訪問、查找、分布特性的基礎(chǔ)上,給出一種分布式文件系統(tǒng)元數(shù)據(jù)組織與索引方法,該方法考慮文件系統(tǒng)元數(shù)據(jù)查找功能,將文件元數(shù)據(jù)根據(jù)目錄樹進(jìn)行層次性分區(qū)組織,并將每個分區(qū)的元數(shù)據(jù)順序存儲到磁盤;采用布隆過濾器(Bloom Filter)為每個分區(qū)建立目錄表用于快速過濾與查找不相關(guān)的分區(qū);借助多維檢索樹(K-D樹)為分區(qū)建立內(nèi)存索引以支持多維元數(shù)據(jù)屬性的查找;建立更新日志保存元數(shù)據(jù)的更新,將元數(shù)據(jù)更新實時同步到索引以滿足實時查找的需求