基于Hadoop存儲的文件管理系統(tǒng)的研究與實現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)的日新月異和云存儲技術(shù)的突飛猛進,帶來了數(shù)據(jù)存儲方式的巨大變革,促進了網(wǎng)絡(luò)硬盤的快速發(fā)展。網(wǎng)絡(luò)硬盤改變著人們進行文件管理的方式,而針對中小企業(yè)海量數(shù)據(jù)的文件管理系統(tǒng)發(fā)展卻相對滯后,因此,研究適用于中小企業(yè)的文件管理系統(tǒng)尤為重要。
　　本文在分析了文件管理系統(tǒng)的功能和性能需求的基礎(chǔ)上,給出了系統(tǒng)的總體架構(gòu)方案、開放型結(jié)構(gòu)封裝方案、文件上傳方案和用戶信息管理優(yōu)化方案,并對上述方案進行了具體實現(xiàn)。在總體方案中,設(shè)計了總體功能結(jié)

2、構(gòu)方案,并根據(jù)功能結(jié)構(gòu)劃分設(shè)計了服務(wù)器部署方案;在開放型結(jié)構(gòu)封裝中,將底層功能接口資源化,實現(xiàn)資源的遠程調(diào)用,并將資源調(diào)用方法封裝成開發(fā)包,供其它開發(fā)平臺使用,增強系統(tǒng)的開放性;在文件上傳中,進行文件動態(tài)分割,實現(xiàn)文件多線程上傳,利用增量算法實現(xiàn)文件斷點續(xù)傳,提高文件上傳效率,結(jié)合消息隊列管理服務(wù),實現(xiàn)文件離線傳輸?shù)紿adoop分布式存儲服務(wù)器;在用戶信息管理中,建立用戶與文件信息的兩級索引,將結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換為半結(jié)構(gòu)化的樹目錄數(shù)據(jù)存儲