基于DK-Means算法的文本聚類的研究與實(shí)現(xiàn).pdf

1、隨著信息技術(shù)在各個(gè)領(lǐng)域的普及，各種應(yīng)用每天產(chǎn)生的數(shù)據(jù)量呈指數(shù)級增長。如何有效處理這些數(shù)據(jù)，從中提取有用的知識，是迫切需要解決的問題。數(shù)據(jù)挖掘是為了滿足人們對數(shù)據(jù)中所蘊(yùn)涵的信息和知識的充分理解和有效應(yīng)用而發(fā)展起來的一門新興技術(shù)。聚類分析根據(jù)數(shù)據(jù)對象之間的相似度將數(shù)據(jù)集劃分為幾個(gè)類或者簇，是發(fā)現(xiàn)數(shù)據(jù)內(nèi)部結(jié)構(gòu)和知識的很好的方法。
　　 聚類分析是根據(jù)樣本之間的某種距離在無監(jiān)督條件下的聚簇過程，利用聚類方法可以把大量的文本劃分成用戶可以

2、迅速理解的簇，從而使用戶可以更快地把握大量文檔中所包含的內(nèi)容，加快分析速度并輔助決策。聚類分析已利用在各個(gè)領(lǐng)域，例如，模式識別，圖象處理，信息檢索等多個(gè)學(xué)科。根據(jù)不同需求，聚類數(shù)據(jù)集的類型也各不相同，例如，有序數(shù)型、標(biāo)量型、文本型、混合型等數(shù)據(jù)，本文主要研究了對文本類型的數(shù)據(jù)進(jìn)行聚類。
　　 本文對文本聚類中所涉及的文本降維方法和聚類算法進(jìn)行了研究。首先，在文本預(yù)處理中，提出了結(jié)合詞頻的分詞方法，提高了分詞準(zhǔn)確性的同時(shí)，為后邊的

3、文本模型的構(gòu)建，文本降維等做好準(zhǔn)備；其次，提出了基于文本相似的文本降維方法，該降維方法，通過計(jì)算文本與其他文本的相似性，計(jì)算特征詞對文本類屬性中的貢獻(xiàn)度來提取與文本高度相關(guān)的詞，起到了文本降維的效果，提高了文本聚類的效率和精確度；最后，提出了基于DK-Means的文本聚類算法，該方法與原有方法相比提高了聚類準(zhǔn)確度和聚類速度。
　　 本文首先對屬于數(shù)據(jù)挖掘領(lǐng)域的聚類分析技術(shù)進(jìn)行了介紹，然后講述了文本聚類的相關(guān)技術(shù)，包括文本的預(yù)處理