基于K-means算法的文本聚類的研究與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)的快速發(fā)展和廣泛普及,使得人們要接收的信息量呈指數(shù)級增加。文本作為信息的重要載體,蘊(yùn)含著大量有價(jià)值的資源,等待著人們進(jìn)行發(fā)掘和研究。但是,文本信息內(nèi)容和格式的多樣化、復(fù)雜化,決定了人們難以發(fā)現(xiàn)感興趣的相關(guān)信息。隨著文本挖掘技術(shù)的誕生和發(fā)展,人們可以快速有效地從大量的文本資源中發(fā)現(xiàn)簡潔、精練、可理解的知識。而文本聚類作為文本挖掘的重要分支,其研究也越來越多地引起了人們廣泛的重視。
　　K-means算法以其簡單性和快速性在文本聚

2、類中得到廣泛應(yīng)用,但是傳統(tǒng)的K-means算法對初值的依賴性很強(qiáng),需要事先給出要生成的簇的數(shù)目k,而這個參數(shù)k的確定一般是根據(jù)用戶的經(jīng)驗(yàn)知識給出的;另外,其初始聚類中心是隨機(jī)選取的,這種隨機(jī)性往往導(dǎo)致聚類結(jié)果的不穩(wěn)定?？梢哉f,不同的k值和不同的初始聚類中心對聚類質(zhì)量和時(shí)間效率造成的影響是很大的。
　　本文對文本挖掘和聚類分析做了較為全面的研究,開展的工作主要包括以下幾個方面:
　　首先,本文深入研究了文本挖掘的相關(guān)理論和關(guān)鍵

3、技術(shù),包括中文分詞、降維操作、文本表示、權(quán)重評價(jià)及相似度計(jì)算等方面。
　　其次,本文對傳統(tǒng)K-means算法進(jìn)行了深入研究,針對其存在的不足,從兩方面改進(jìn)了傳統(tǒng)K-means算法:
　　(1)提出扇形切分法確定初始聚類數(shù)目k。根據(jù)文本特征項(xiàng)對文本描述的重要性程度劃分重要特征項(xiàng),選取只包含重要特征項(xiàng)的文本集做為樣本,運(yùn)用扇形切分法對其進(jìn)行初步聚類,得到的初步聚類數(shù)作為K-means算法的k的取值。
　　(2)從文本挖掘的

4、自身特點(diǎn)出發(fā),通過聚類的分布特點(diǎn)來反向確定初始中心,即根據(jù)中心對象之間的相似度小而中心對象與本簇中其它對象間的相似度大的原理,尋找最有效的k個文本對象來作為初始聚類中心:它們兩兩之間的相似度較低,且每個中心周圍都有與之相似度較高且數(shù)目大于某一閾值的對象。
　　最后,本文設(shè)計(jì)并實(shí)現(xiàn)了一個簡單的基于K-means算法的文本聚類系統(tǒng),并在其基礎(chǔ)上通過實(shí)驗(yàn)對改進(jìn)K-means算法的有效性進(jìn)行了驗(yàn)證,結(jié)果證明,改進(jìn)K-means算法能有效地