基于雙重遺傳的k-means聚類算法在文本挖掘中的應(yīng)用.pdf

1、信息資源的爆炸性增長將文本挖掘技術(shù)推上熱潮，越來越多的人希望能夠快速從大量的信息資源中獲取到有用的信息，文本聚類作為文本挖掘中的關(guān)鍵技術(shù)，對從大量的文本信息中找到有用的信息起到了至關(guān)重要的作用。研究文本聚類算法，發(fā)現(xiàn)算法中存在的問題，并針對性的進(jìn)行改進(jìn)，成為了近年來不少學(xué)者研究的重點。
　　文本聚類的算法中最經(jīng)典的k-means算法因操作簡單、收斂速度快等優(yōu)點被廣泛使用，但它也存在兩個顯著的缺點，即對聚類數(shù)目敏感和對初始中心點敏感

2、。本文仔細(xì)研究了大量文獻(xiàn)資料和相關(guān)的理論知識，在對現(xiàn)今國內(nèi)外研究現(xiàn)狀有一定了解的基礎(chǔ)上，結(jié)合遺傳算法較強尋優(yōu)性的特點提出了基于雙重遺傳的k-means文本聚類算法，簡稱TCDGK算法。該算法的核心思想是利用外層遺傳算法控制聚類數(shù)目，內(nèi)層遺傳算法控制初始中心點，實現(xiàn)對兩個隨機因素的雙重優(yōu)化。為增強算法可用性，先根據(jù)內(nèi)外層控制參數(shù)的不同，分別對外層使用二進(jìn)制編碼，而對內(nèi)層使用十進(jìn)制編碼，實現(xiàn)分層編碼;再采用類間距離DBG和類內(nèi)距離DIG來評

3、價聚類結(jié)果的好壞，并提出H值的概念，將H值作為遺傳算法的適應(yīng)度函數(shù)。該算法的目標(biāo)是在算法結(jié)束后能夠同時求得最佳的聚類數(shù)目和初始中心點。
　　為證明TCDGK算法的性能，本文將UCI數(shù)據(jù)集中的Iris數(shù)據(jù)集和Glass數(shù)據(jù)集作為測試數(shù)據(jù)，將其運算結(jié)果與其余五種算法進(jìn)行對比，并將準(zhǔn)確率、召回率、F值和純度作為評價指標(biāo)。為了驗證TCDGK算法在文本挖掘中的應(yīng)用，本文將復(fù)旦大學(xué)中文語料庫作為本次文本挖掘的實驗數(shù)據(jù)，對它進(jìn)行了文本分詞、去停