聚類技術(shù)的若干問題研究.pdf

1、聚類分析源于數(shù)學(xué)和統(tǒng)計(jì)學(xué)，應(yīng)用于計(jì)算機(jī)科學(xué)、生物學(xué)和經(jīng)濟(jì)學(xué)等領(lǐng)域，它是數(shù)據(jù)挖掘技術(shù)中的經(jīng)典方法，旨在針對(duì)數(shù)據(jù)對(duì)象的特點(diǎn)，基于某種相似性度量標(biāo)準(zhǔn)將數(shù)據(jù)對(duì)象聚集到相應(yīng)的簇中。該方法首先針對(duì)待分類數(shù)據(jù)的特點(diǎn)進(jìn)行透徹的分析，并構(gòu)造相似性度量準(zhǔn)則，然后基于相似度設(shè)計(jì)相應(yīng)的聚類算法，從而實(shí)現(xiàn)分類的目的。雖然聚類分析方法在文本分類、Web頁面分類、Web用戶分類及空間數(shù)據(jù)分析等問題中已取得了成功的應(yīng)用，但不同的應(yīng)用環(huán)境下，各種方法的效果也各不相同。因

2、此本文擬深入討論聚類分析方法在多數(shù)據(jù)庫分類及文本分類上的應(yīng)用。
　　大型企業(yè)，尤其是跨國公司，隨著信息技術(shù)的進(jìn)步、自身規(guī)模的發(fā)展和分支機(jī)構(gòu)的擴(kuò)充，積累了越來越多的事務(wù)數(shù)據(jù)庫，學(xué)術(shù)界稱之為多數(shù)據(jù)庫。多數(shù)據(jù)庫不僅包含的數(shù)據(jù)庫數(shù)目眾多，其中各數(shù)據(jù)庫所積累的數(shù)據(jù)量也非常龐大，傳統(tǒng)的單一數(shù)據(jù)庫挖掘技術(shù)已無法滿足多數(shù)據(jù)庫挖掘的需要。事實(shí)證明先對(duì)多數(shù)據(jù)庫分類再按類挖掘模式的方法是目前最有效的挖掘策略，因此多數(shù)據(jù)庫分類已成為聚類分析所需解決的新的

3、技術(shù)問題。本文針對(duì)多數(shù)據(jù)庫中數(shù)據(jù)對(duì)象的特點(diǎn)，基于當(dāng)前的研究基礎(chǔ)，構(gòu)造了新的優(yōu)秀度衡量標(biāo)準(zhǔn)，并設(shè)計(jì)了相應(yīng)的聚類算法。
　　文本是廣為使用的信息載體，文本信息處理是一種涵蓋了統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、模式識(shí)別及數(shù)據(jù)挖掘等技術(shù)的多學(xué)科綜合研究領(lǐng)域。由于文本數(shù)量的龐大，最有效的挖掘方法是先對(duì)文本進(jìn)行分類，然后以類為單位挖掘模式，因此，文本分類已成為文本信息處理中的一項(xiàng)重要課題。文本是詞的集合，在某種程度上，文本中的詞等同于事務(wù)數(shù)據(jù)庫中的事務(wù)項(xiàng)，因

4、此文本數(shù)據(jù)對(duì)象與多數(shù)據(jù)庫數(shù)據(jù)對(duì)象有著內(nèi)在的關(guān)聯(lián)，多數(shù)據(jù)庫分類中所建立的聚類策略可以映射到文本分類問題上。
　　研究過程中，首先詳細(xì)了解了聚類分析方法的技術(shù)基礎(chǔ)，深入研究了多數(shù)據(jù)庫和文本挖掘的理論知識(shí);然后根據(jù)多數(shù)據(jù)庫數(shù)據(jù)對(duì)象的特征，構(gòu)造了新的聚類優(yōu)秀度評(píng)價(jià)標(biāo)準(zhǔn)，并將這一標(biāo)準(zhǔn)類推到文本分類中;最后分別針對(duì)多數(shù)據(jù)庫和文本對(duì)象設(shè)計(jì)了相應(yīng)的聚類算法，并用實(shí)驗(yàn)證明了算法的有效性。主要研究內(nèi)容如下:
　　(1)在現(xiàn)有多數(shù)據(jù)庫聚類算法的基

5、礎(chǔ)上，提出了改進(jìn)方法。
　　雖然多數(shù)據(jù)庫聚類算法已取得一定的成果，但目前的方法仍可能在選擇最優(yōu)聚類的過程中錯(cuò)過真正的最優(yōu)結(jié)果。對(duì)于這種情況，我們?cè)诂F(xiàn)有算法的基礎(chǔ)上提出了一種改進(jìn)方法，旨在得到完全的候選聚類集合，并在人工數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明該算法能得到更優(yōu)秀的聚類，但是算法的時(shí)間復(fù)雜度相對(duì)較高，適用于精度要求較高的分類環(huán)境。
　　(2)設(shè)計(jì)了一種基于PAntSC*算法的多數(shù)據(jù)庫聚類方法
　　PAntSC*算法已被

6、應(yīng)用在文本分類中，但需要事先提供目標(biāo)類別的個(gè)數(shù)，本文在PAntSC*算法基礎(chǔ)上進(jìn)行了改進(jìn)，并應(yīng)用于多數(shù)據(jù)庫分類問題上。聚類過程中，我們首先根據(jù)各數(shù)據(jù)庫的輪廓系數(shù)建立數(shù)據(jù)庫聚類序列L，然后基于改進(jìn)的PAntSC*算法將數(shù)據(jù)庫依次聚集到相應(yīng)的類別中，最后根據(jù)結(jié)果評(píng)價(jià)標(biāo)準(zhǔn)確定最優(yōu)聚類。該方法避免了Huffman算法需要事先指定類別數(shù)量的局限性，應(yīng)用性能較強(qiáng)。
　　(3)提出了一種基于Huffman樹思想的文本聚類算法
　　文本是句

7、子的集合，句子由“詞”構(gòu)成，事務(wù)數(shù)據(jù)庫是記錄的集合，記錄由事務(wù)項(xiàng)構(gòu)成，因此文本分類和多數(shù)據(jù)庫分類中的數(shù)據(jù)對(duì)象間存在著內(nèi)在的關(guān)聯(lián)。我們利用在多數(shù)據(jù)庫分類中所積累的技術(shù)方法，針對(duì)文本數(shù)據(jù)的特性，構(gòu)造了新的文本相似性度量準(zhǔn)則，提出了基于Huffman樹思想的文本聚類算法，并根據(jù)優(yōu)秀度評(píng)價(jià)標(biāo)準(zhǔn)篩選出最優(yōu)的聚類結(jié)果。針對(duì)我們所提出的方法，在中文分類語料庫上進(jìn)行了實(shí)驗(yàn)，雖然得到的結(jié)果并不是最理想的，但證明了該文本聚類算法的可行性。
　　本文針