基于Hadoop的高性能文本聚類算法的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、信息技術(shù)的飛速發(fā)展帶來互聯(lián)網(wǎng)上的數(shù)據(jù)信息急劇增長(zhǎng),大部分?jǐn)?shù)據(jù)以文本信息的形式存在。挖掘網(wǎng)頁上的海量文本信息以及快速準(zhǔn)確地對(duì)這些信息進(jìn)行分析處理,獲取有用的信息,已經(jīng)成為各大公司組織和個(gè)人急待解決的問題。在分布式環(huán)境下通過數(shù)據(jù)挖掘中的文本聚類技術(shù)對(duì)海量文本數(shù)據(jù)進(jìn)行并行處理是解決這一問題的最有效途徑之一。
　　文本聚類技術(shù)是數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要的課題,是一種無監(jiān)督的機(jī)器學(xué)習(xí)方法,其基本思想是首先將文本預(yù)處理成計(jì)算機(jī)可以處理的數(shù)據(jù),然

2、后進(jìn)行文本相似度計(jì)算并形成聚類結(jié)果。本文通過分析聚類技術(shù)的基本原理,總結(jié)已經(jīng)存在的聚類方法中在海量數(shù)據(jù)處理中的優(yōu)缺點(diǎn),并把分布式并行技術(shù)引入文本聚類領(lǐng)域,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于分布式并行運(yùn)算的短文本聚類算法。不僅解決了傳統(tǒng)聚類算法在處理海量數(shù)據(jù)方面由于數(shù)據(jù)的高維和稀疏等方面存在的不足,而且解決了由數(shù)據(jù)規(guī)模過大引起的運(yùn)行速度慢、效率低的問題。
　　本文的主要工作在于:介紹文本聚類算法的思想和相關(guān)理論知識(shí),對(duì)當(dāng)前已經(jīng)存在的各個(gè)分類的聚類