文本聚類中參數(shù)自動(dòng)設(shè)置技術(shù)的研究與實(shí)現(xiàn).pdf

1、為解決文本聚類中的參數(shù)設(shè)置問(wèn)題,本文提出并實(shí)現(xiàn)了支持典型文本聚類算法中參數(shù)自動(dòng)設(shè)置的算法.首先,在特征選取方面,本文提出了"最大序列頻繁詞組"的概念,并通過(guò)挖掘最大序列頻繁詞組獲取文本特征,以克服最常用的TFIDF方法忽略了詞與詞之間關(guān)系的缺點(diǎn),使抽取的特征表示文本內(nèi)容的準(zhǔn)確程度大大提高.在使用K-Means進(jìn)行文本聚類的研究中,針對(duì)K-Means算法在文本聚類中的缺點(diǎn),本文提出了利用對(duì)多次取樣聚類以確定參數(shù)K的方法,使得參數(shù)確定過(guò)程自

2、動(dòng)化;同時(shí)在K-Means方法中引入了衰減因子,在劃分過(guò)程中動(dòng)態(tài)地改變簇均值,以提高聚類質(zhì)量.為了克服K-Means方法對(duì)孤立點(diǎn)敏感性的缺點(diǎn),并進(jìn)一步提高聚類的質(zhì)量和時(shí)間效率,本文將基于密度的聚類算法應(yīng)用于文本對(duì)象之上.在基于密度的文本聚類算法中,提出了一種利用曲線擬合自動(dòng)確定參數(shù)的方法,利用自動(dòng)參數(shù)確定技術(shù),對(duì)簇進(jìn)行收縮以得到細(xì)化簇.實(shí)驗(yàn)表明,參數(shù)自動(dòng)設(shè)置技術(shù)使文本聚類過(guò)程更加自動(dòng)化,同時(shí)提高了文本聚類的質(zhì)量和效率,產(chǎn)生了更好的聚類結(jié)