大規(guī)模文檔聚類中若干關(guān)鍵問題的研究.pdf

1、聚類技術(shù)是一個(gè)來源已久且與人們的生活息息相關(guān)的實(shí)用技術(shù)，在現(xiàn)實(shí)生活中有很多領(lǐng)域需要聚類技術(shù)，尤其隨著信息產(chǎn)業(yè)的發(fā)展、網(wǎng)絡(luò)的進(jìn)步，人們每天接觸的信息與日劇增，如何對(duì)這些大規(guī)模的信息進(jìn)行處理已經(jīng)成為當(dāng)今研究的熱點(diǎn)，而聚類恰恰可以作為該問題的一個(gè)很好的解決辦法。聚類不依賴任何先驗(yàn)知識(shí)而將相似的數(shù)據(jù)劃分到一個(gè)類別中，由于類別數(shù)是遠(yuǎn)小于數(shù)據(jù)數(shù)的，因此對(duì)大量數(shù)據(jù)進(jìn)行聚類后，用戶可以快速發(fā)現(xiàn)自己感興趣的信息所在的類別。
　　由于網(wǎng)絡(luò)信息大多以文

2、本形式表示，因此文檔聚類已逐漸成為一個(gè)熱門的研究領(lǐng)域，然而隨著文檔數(shù)量的增多，傳統(tǒng)的文檔聚類算法已經(jīng)無法對(duì)大規(guī)模文檔聚類中存在的向量稀疏性和語義相似性等問題進(jìn)行處理。因此，本文從以下四個(gè)方面研究了大規(guī)模文檔聚類算法中存在的特有問題，并給出了相應(yīng)的解決方法。
　　第一，傳統(tǒng)的基于統(tǒng)計(jì)信息的特征選擇方法選取的特征不僅無法完全覆蓋文檔的主題，并且其中含有大量的冗余信息。隨著文檔規(guī)模的增大，此方法會(huì)嚴(yán)重增加特征空間的維數(shù)而降低了聚類的效率

3、?；诖吮疚奶岢隽艘环N基于主題分析的特征選擇技術(shù)，該方法通過構(gòu)建詞匯鏈從多個(gè)側(cè)面分析文檔所描述的主題信息，然后在詞匯鏈中選擇能夠充分代表該鏈所述信息的特征作為聚類特征，此方法能夠有效提升聚類的效率。
　　第二，隨著文檔規(guī)模的增大，特征空間中存在大量的文檔具有語義相似性，而傳統(tǒng)聚類算法中的相似度計(jì)算方法是無法發(fā)現(xiàn)這個(gè)問題的?；诖吮疚膶⒄Z義相似度引入聚類中，使聚類算法能夠發(fā)現(xiàn)文檔間的語義相似性從而提升聚類的準(zhǔn)確度。同時(shí)不同的特征對(duì)文

4、檔的劃分能力是不同的，而傳統(tǒng)聚類算法中的相似度計(jì)算方法將所有特征的權(quán)值看作是同等重要的，基于此本文提出了一種基于特征分布的特征權(quán)值量化方法，其可以通過統(tǒng)計(jì)特征的分布來計(jì)算特征在文檔與神經(jīng)元相似度計(jì)算中權(quán)值，此方法能夠提升那些可以有效描述數(shù)據(jù)間相似性的特征在相似度計(jì)算中的作用。
　　第三，隨著文檔規(guī)模的增大，作為每個(gè)文檔類的代表特征僅占特征空間的很小一部分，而傳統(tǒng)聚類算法以特征空間內(nèi)的所有特征構(gòu)造類別特征集合，此方法顯然會(huì)引入無關(guān)特

5、征的干擾而降低聚類的準(zhǔn)確率。針對(duì)此問題，本文提出了一種基于向量壓縮的神經(jīng)元聚類算法，該算法首先從特征空間中選擇能夠代表類別描述信息的特征對(duì)文檔進(jìn)行劃分，然后通過神經(jīng)元算法對(duì)劃分進(jìn)行迭代調(diào)整以得到更加優(yōu)化的類別特征表示和類別劃分結(jié)果，其可以有效降低聚類的運(yùn)行時(shí)間并提升聚類的準(zhǔn)確度。另外本文還提出了一種基于概率的多階段聚類算法，該算法通過選擇與類別相關(guān)的特征構(gòu)造類別特征集合可以有效避免無關(guān)特征對(duì)聚類結(jié)果的干擾，因此具有很高的聚類準(zhǔn)確率。