基于術(shù)語簇和關(guān)聯(lián)規(guī)則的文檔聚類方法.pdf

1、聚類技術(shù)是數(shù)據(jù)挖掘領(lǐng)域具有重要價(jià)值的技術(shù)之一，隨著網(wǎng)絡(luò)在社會(huì)生活的不斷深入，加之?dāng)?shù)據(jù)庫技術(shù)的迅速發(fā)展和普及，Web挖掘日益受到信息科學(xué)界的關(guān)注和重視，總的來說，Web挖掘可分為三種類型：Web結(jié)構(gòu)挖掘，Web使用挖掘和Web文本挖掘[1]，其中，文檔聚類屬于Web文本挖掘的研究?jī)?nèi)容，所謂文本挖掘，是指從文檔集合中發(fā)現(xiàn)隱含的某些未知模式或規(guī)則。
　　 文檔聚類不同于傳統(tǒng)的文檔分類，它不是基于預(yù)定的類表或類目體系，而是完全基于文檔本

2、身，即先有文檔后有類，類的內(nèi)涵和外延以及整個(gè)類目體系完全由需要進(jìn)行聚類處理的文檔集合確定。目前常用的文檔聚類方法有層次方法和劃分方法等，其中，層次方法通過將文檔組織成若干類并形成一個(gè)相應(yīng)的樹來進(jìn)行聚類，其準(zhǔn)確度較高，但運(yùn)行速度較慢，不適合大規(guī)模文檔集合的聚類；劃分方法將文檔集合水平的劃分為許多類，各類間沒有層次性，其運(yùn)行速度較快，但須事先確定聚類數(shù)目，且對(duì)噪聲和輸入順序較敏感，尤其是當(dāng)文檔形式化表示的維數(shù)較高時(shí)，該方法的性能和聚類質(zhì)量都

3、明顯下降。
　　 對(duì)此，本文提出一種基于術(shù)語簇和關(guān)聯(lián)規(guī)則的文檔聚類方法，首先對(duì)文檔集合進(jìn)行分詞得到許多術(shù)語，對(duì)這些術(shù)語進(jìn)行處理得到一個(gè)術(shù)語集合，再計(jì)算術(shù)語之間的平均互信息并以此為依據(jù)使用聚叢法形成術(shù)語簇，用術(shù)語簇來表示文檔，并計(jì)算術(shù)語簇和文檔之間的關(guān)聯(lián)度得到一個(gè)關(guān)聯(lián)矩陣，使用DHP（Direct Hashing and Pruning）算法從關(guān)聯(lián)矩陣中挖掘出文檔的初始聚類，對(duì)此進(jìn)行聚類分析獲得最終的文檔聚類。此外，還使用了新的術(shù)