聚類(lèi)分析及聚類(lèi)結(jié)果評(píng)估算法研究.pdf

1、隨著信息技術(shù)的迅速發(fā)展，需要分析和管理的數(shù)據(jù)迅速增多，這種趨勢(shì)已經(jīng)滲透到數(shù)據(jù)挖掘領(lǐng)域中。數(shù)據(jù)挖掘就是用來(lái)從大量的、不完全的、有噪聲的、模糊的、隨機(jī)數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識(shí)。聚類(lèi)分析是數(shù)據(jù)挖掘技術(shù)中重要的組成部分，從技術(shù)角度講，它的主要目的是將數(shù)據(jù)空間中的數(shù)據(jù)點(diǎn)劃分到若干個(gè)類(lèi)中。其中，將距離相近的數(shù)據(jù)點(diǎn)劃分到相同的類(lèi)中，而將距離較遠(yuǎn)的數(shù)據(jù)點(diǎn)劃分到不同的類(lèi)中。 目前，已經(jīng)提出了很多的聚類(lèi)

2、算法，它們基本上可以分為以下幾種方法：劃分方法、層次方法、混合方法和基于密度等方法，這些方法各有優(yōu)缺點(diǎn)。每種算法只有聚類(lèi)與之相適合的數(shù)據(jù)集時(shí)才能形成比較理想的聚類(lèi)結(jié)果，而且聚類(lèi)結(jié)果的質(zhì)量很難定量評(píng)估。雖然已經(jīng)提出一些聚類(lèi)質(zhì)量評(píng)估的方法，但是這些評(píng)估方法卻不能與聚類(lèi)算法有機(jī)結(jié)合，并指導(dǎo)聚類(lèi)算法進(jìn)行調(diào)整和更新以產(chǎn)生更好的聚類(lèi)結(jié)果。在聚類(lèi)分析領(lǐng)域中另一個(gè)長(zhǎng)期困擾研究者的典型問(wèn)題就是聚類(lèi)參數(shù)的設(shè)置問(wèn)題。只有合理的設(shè)置聚類(lèi)參數(shù)才能聚類(lèi)出高質(zhì)量的聚

3、類(lèi)結(jié)果。然而被聚類(lèi)的數(shù)據(jù)集分布情況在聚類(lèi)前往往是未知的，所以難以設(shè)置合理的聚類(lèi)參數(shù)。而設(shè)置不合理的聚類(lèi)參數(shù)又使得聚類(lèi)結(jié)果質(zhì)量變低。所以聚類(lèi)參數(shù)設(shè)置問(wèn)題應(yīng)該首先被解決好。 本文提出一種高效的聚類(lèi)模塊和一種新穎的聚類(lèi)質(zhì)量評(píng)估模塊。其中聚類(lèi)模塊包含兩個(gè)取值范圍有限的整形參數(shù)，通過(guò)遍歷這兩個(gè)聚類(lèi)參數(shù)的全部取值，可以對(duì)數(shù)據(jù)集進(jìn)行多遍聚類(lèi)，然后利用評(píng)估模塊對(duì)全部聚類(lèi)結(jié)果進(jìn)行評(píng)估，找到聚類(lèi)質(zhì)量最高的一個(gè)作為聚類(lèi)算法的最終輸出，這就是SECDU