基于Hadoop的海量小型XML數(shù)據(jù)文件處理技術(shù)的設(shè)計和實現(xiàn).pdf

1、現(xiàn)如今,隨著計算機技術(shù)的發(fā)展,眾多高科技企業(yè)運用Hadoop對海量數(shù)據(jù)進行處理并獲得了很好的效果。但是人們逐漸發(fā)現(xiàn)Hadoop存在一些缺陷,如:Hadoop在處理海量小數(shù)據(jù)文件時會出現(xiàn)名稱節(jié)點(NameNode)內(nèi)存占用率高、訪問性能低下等問題;Hadoop在處理 XML這樣的結(jié)構(gòu)化文件時,目前的版本是很難對其進行處理和分析的。因此,如何運用Hadoop對海量小數(shù)據(jù)XML文件進行處理問題便成為該技術(shù)領(lǐng)域的重要研究課題。
　　為了解

2、決Hadoop在處理海量小數(shù)據(jù)XML文件時無法解析、耗費內(nèi)存資源和檢索效率低的問題,本文重點研究了如下內(nèi)容:1)設(shè)計了專門針對海量小數(shù)據(jù)XML文件進行處理的分布式海量小型XML數(shù)據(jù)處理系統(tǒng)(Distributed Massive Small XML files system,DMSX),該系統(tǒng)的主要思想就是將海量小數(shù)據(jù) XML文件在Hadoop系統(tǒng)中高效的進行處理。2)該系統(tǒng)通過運用生產(chǎn)者-消費模式,多線程并發(fā)技術(shù),多級緩存技術(shù)等,來提

3、高系統(tǒng)的整體處理能力。3)該系統(tǒng)通過對合并后的文件進行分段存儲,在不影響工作模塊的同時,高效利用網(wǎng)絡(luò)資源,與數(shù)據(jù)處理模塊并發(fā)進行,從而使系統(tǒng)在處理海量小數(shù)據(jù)XML時的效率得到提高。
　　本文對該系統(tǒng)的各個功能模塊進行了詳細的闡述,并對系統(tǒng)的高效性進行了實驗分析。后期通過實際部署、多次測試、平均求值的測試方法,驗證了本系統(tǒng)的性能。證明了文中所提出的方法可以有效的提高系統(tǒng)資源利用率和系統(tǒng)響應(yīng)速度,一定程度上解決了目前Hadoop在處理