基于MapReduce的全文索引模塊的設(shè)計與實現(xiàn).pdf

1、隨著Internet與數(shù)字化趨勢的高速發(fā)展，用戶或者數(shù)字化系統(tǒng)產(chǎn)生的計算機數(shù)據(jù)呈現(xiàn)爆炸式的增長。同時，隨著Web技術(shù)的高速發(fā)展，計算機也正在從傳統(tǒng)的單機服務(wù)方式轉(zhuǎn)向Web方式的集中式服務(wù)。另一個顯著發(fā)展的趨勢是，在我們的生活中，非結(jié)構(gòu)化數(shù)據(jù)正變得越來越多而且越來越重要。在這些發(fā)展趨勢下，對于海量非結(jié)構(gòu)化數(shù)據(jù)的集中式高效處理與管理就成為了一個非常迫切的需求。
　　 MapReduce是Google提出來的一個編程模型，是一個分布式

2、計算框架，被用來處理和生成大數(shù)據(jù)集。MapReduce程序在計算機集群環(huán)境下并行地執(zhí)行任務(wù)，有著極高的可擴展性。并且為開發(fā)人員隱藏了分布式系統(tǒng)底層的細節(jié)，使得分布式計算程序的開發(fā)變得簡單高效。
　　 本文結(jié)合當(dāng)下流行的MapReduce分布式計算框架實現(xiàn)了對海量非結(jié)構(gòu)化數(shù)據(jù)進行解析，信息抽取，及建立全文索引的這一功能模塊。使得全文索引模塊能夠充分利用計算機集群的處理能力來高效的處理海量非結(jié)構(gòu)化數(shù)據(jù)。除此之外，本文還完成了對Map