基于k-平均算法的文本聚類系統(tǒng)研究與實現(xiàn).pdf

1、隨著國際互聯(lián)網(wǎng)和企業(yè)內(nèi)部互聯(lián)網(wǎng)的飛速發(fā)展，各種電子文本數(shù)據(jù)的數(shù)量急劇增加，如何快速有效的獲取、管理和使用這些文本數(shù)據(jù)，已經(jīng)成為信息系統(tǒng)學科迫切需要解決的重要問題。近年來，作為解決這些問題的基本工具之一，基于文本內(nèi)容的自動文本聚類技術(shù)得到了空前的發(fā)展，引起了人們普遍的關(guān)注。 文本聚類的目標是將文檔集合分成若干個簇，要求同一簇內(nèi)文檔內(nèi)容的相似度盡可能的大，而不同簇之間的相似度盡可能的小。作為文本挖掘的一個重要應(yīng)用，文本聚類已經(jīng)成為一

2、個研究熱點。 本文以中文文本作為文本聚類的挖掘?qū)ο?，并對中文文本聚類的全過程進行了研究，包括中文文本預(yù)處理、文本聚類，對文中所述方法進行了實驗分析，并設(shè)計了一個系統(tǒng)，實現(xiàn)了文本聚類的功能。 本文首先介紹了文本挖掘的研究背景、研究意義、研究現(xiàn)狀和相關(guān)基本理論知識。 其次，分析研究了文本的預(yù)處理過程，重點研究了中文文本的分詞問題。本文采用基于詞典的正向最大匹配法實現(xiàn)文本初切分，結(jié)合退一字回溯掃描的方法發(fā)現(xiàn)歧義字段，對

3、歧義字段的處理采取的是基于統(tǒng)計詞頻的方法。對文本預(yù)處理的特征表示與特征選擇進行了探討，本文采用向量空間模型(VSM)對文本進行表示；而文本的特征選擇則采用tfidf評估函數(shù)。 接著，針對中文文本的聚類，本文采用了基于k-平均算法的二次文本聚類方法：先對文本集采用k-平均算法進行聚類，其中，參數(shù)k的確定是通過計算在一定范圍內(nèi)，k取不同值的情況下，使全體樣本點的平均輪廓系數(shù)最大化的k值實現(xiàn)的；而初始聚類中心的選擇是通過基于樣本密度的