基于特征詞的文本聚類算法研究.pdf

1、隨著計(jì)算機(jī)網(wǎng)絡(luò)的高速發(fā)展，各種各樣的文本信息如潮水般不斷涌現(xiàn)，呈指數(shù)級增長，導(dǎo)致人們對信息的搜尋、過濾和管理困難，因此對文本數(shù)據(jù)的管理和分析就變得空前重要。快速高質(zhì)量的文本聚類技術(shù)可以將海量的文本信息分成有意義的若干簇，這種技術(shù)能夠提供導(dǎo)航、瀏覽機(jī)制，改善檢索性能。因此對文本聚類技術(shù)的研究已經(jīng)成為文本數(shù)據(jù)挖掘中一個(gè)非常重要的研究方向。 聚類技術(shù)作為文本數(shù)據(jù)挖掘的核心技術(shù)之一，其目標(biāo)是將文本集合分成若干個(gè)簇，要求同一簇內(nèi)文本內(nèi)容的

2、相似度盡可能的大，而不同簇之間的相似度盡可能的小。本文對文本聚類面臨的“維度災(zāi)難”問題、聚類的初始優(yōu)化問題和具體的文本聚類算法進(jìn)行了分析和研究。主要有以下幾個(gè)方面的工作： 在分析文本聚類預(yù)處理關(guān)鍵技術(shù)的基礎(chǔ)上，研究了特征項(xiàng)的權(quán)重計(jì)算方法并利用特征項(xiàng)的位置權(quán)重信息對經(jīng)典的TF-IDF(term frequency-inverse documentfrequency，TF-IDF)權(quán)重計(jì)算方法進(jìn)行了改進(jìn)，提出了P-TF-IDF(po

3、sition termfrequency-inverse document frequency，P-TF-IDF)權(quán)重計(jì)算方法。用k-means等常用文本聚類算法和Fl-measure等聚類有效性評價(jià)指標(biāo)驗(yàn)證了改進(jìn)后的權(quán)重計(jì)算方法P-TF-IDF在提高聚類結(jié)果有效性上的作用。 針對文本聚類過程中面臨的“維度災(zāi)難”問題，提出了一種特征降維處理方法topN方法，并從聚類效果評價(jià)角度驗(yàn)證了topN方法對文本聚類的有效性。 最后