基于MapReduce的并行文本聚類.pdf

1、文本聚類是一項具有重要應用價值的研究,在一些應用領域中,文本聚類需要處理的數據規(guī)模正在以非常快的速度增大。處理大規(guī)模數據需要采用高效的大規(guī)模數據分析技術,傳統(tǒng)的串行編程模型在可擴展性上存在嚴重不足,無法滿足大規(guī)模數據處理對計算資源和存儲資源的需求。以MapReduce為代表的分布式計算技術具備了良好的擴展性,能夠極大地提高數據密集型算法的執(zhí)行效率、充分發(fā)揮基于普通硬件的計算集群的計算能力。
　　MapReduce分布式計算框架的出

2、現極大地降低了并行計算的門檻,同時MapReduce編程模型又以自身優(yōu)秀的架構設計成為大數據處理技術的不二選擇。為了利用MapReduce分布式計算框架解決傳統(tǒng)的層次聚類算法在處理大規(guī)模語料數據時可擴展性不足的問題,本文提出基于MapReduce編程模型的并行文本層次聚類算法。傳統(tǒng)的層次聚類算法針對串行編程模型進行設計,因此將層次聚類算法并行化時,需要考量串行編程模型與分布式編程模型之間的差異,充分利用分布式計算平臺的特性來設計并行層次

3、聚類算法,以下是本文主要研究內容的簡單概括:
　　1)對MapReduce分布式計算框架進行深入的研究,包括MapReduce的數據分發(fā)策略、排序特性、將傳統(tǒng)的串行算法移植到MapReduce編程模型的必要條件。針對 MapReduce最重要的開源實現 Hadoop中的關鍵模塊進行了詳細的分析。
　　2)對文本聚類過程中涉及到的關鍵技術的MapReduce并行化進行深入分析,重新設計包括文本分詞、特征選擇、特征權重計算在內的

4、文本向量化關鍵步驟,為整個文本聚類過程的MapReduce并行化奠定基礎。
　　3)針對文本層次聚類算法很難實現計算并行的問題,提出基于數據劃分的并行文本層次聚類算法,解決了文本層次聚類算法的并行化。并行文本層次聚類將數據劃分引入傳統(tǒng)的層次聚類算法,合理地利用了MapReduce編程模型的排序特性及二次排序技術來高效地選取合并點。數據劃分算法采用基于文本向量分量組特征統(tǒng)計的垂直劃分算法,該算法簡單高效,可以有效地進行大規(guī)模數據的快