基于Mapreduce的大規(guī)模中文短文本聚類算法的設(shè)計與實現(xiàn).pdf

1、文本聚類是數(shù)據(jù)挖掘和信息檢索領(lǐng)域的一個重要研究方向。如何挖掘網(wǎng)頁上的海量文本信息已經(jīng)成為計算機科學(xué)領(lǐng)域所面臨的一個巨大挑戰(zhàn)。文本聚類技術(shù)的出現(xiàn)為海量文本信息的分類管理提供了一條有效的途徑。近年來文本聚類在信息檢索、多文本自動摘要等互聯(lián)網(wǎng)領(lǐng)域獲得了廣泛的應(yīng)用。云計算的興起，為分布式并行計算提供了更多的框架，文本挖掘技術(shù)的分布式實現(xiàn)也開始被越來越多的研究人員所關(guān)注。
　　Hadoop是Apache的一款開源軟件，它提供了包括分布式文件

2、系統(tǒng)和MapReduce計算框架在內(nèi)的云計算軟件平臺的基礎(chǔ)架構(gòu)，并且在其上整合了包括數(shù)據(jù)庫、數(shù)據(jù)倉庫等一系列組件，其已成為學(xué)術(shù)界和工業(yè)界進行云計算研究和應(yīng)用的標準平臺。本文重點研究了Hadoop軟件框架中的HDFS、MapReduce、HBase等組件的核心架構(gòu)及其運行機制，并分析了框架的不足，如HDFS、MapReduce的單點故障及安全性等問題，提出了相應(yīng)的解決方案，并基于此搭建了高可靠安全的Hadoop環(huán)境。在高可靠安全的Hado

3、op平臺上，結(jié)合傳統(tǒng)聚類算法的特點給出了一種基于云計算的短文本聚類系統(tǒng)的設(shè)計方案，并對該系統(tǒng)的各層次的功能及該系統(tǒng)中的分類聚類模塊進行了詳細的闡述。本文主要研究工作包括:
　　(1)搭建了一個適合文本聚類應(yīng)用的Hadoop分布式平臺，并通過Hadoop和Linux對系統(tǒng)進行調(diào)優(yōu)。
　　(2)根據(jù)短文本的特征，利用向量空間模型，TF-IDF計算公式和余弦公式等技術(shù)來設(shè)計了一種合適的聚類方法來實現(xiàn)對中文短文本的分析。