數(shù)據(jù)資源聚類預(yù)處理及其應(yīng)用研究.pdf

1、沒(méi)有物質(zhì)，就什么都不存在；沒(méi)有能源，就什么都不會(huì)發(fā)生：沒(méi)有信息，就什么都沒(méi)有意義<'[Oet1965]>。作為三大資源之一的信息，對(duì)于我們的生活越來(lái)越具有深遠(yuǎn)的影響。面對(duì)如此豐富、繁雜的數(shù)據(jù)，如何才能從中提取有價(jià)值的信息和知識(shí)，由此誕生了一個(gè)新的研究方向：基于數(shù)據(jù)庫(kù)的知識(shí)發(fā)現(xiàn)KDD(Knowledge Discovervin Database)以及相關(guān)的數(shù)據(jù)挖掘DM(Data Mining)理論和技術(shù)。 數(shù)據(jù)資源(Data Re

2、source)作為信息領(lǐng)域基本的研究對(duì)象，是從資源的角度對(duì)數(shù)據(jù)及其本身所存在的狀態(tài)給予的重新認(rèn)識(shí)與高度概括。綜合利用各類有效的KDD和DM。技術(shù)來(lái)提高數(shù)據(jù)資源本身的質(zhì)量、增強(qiáng)數(shù)據(jù)對(duì)象的利用效率成為數(shù)據(jù)資源有效開(kāi)發(fā)利用的主要研究方向。數(shù)據(jù)資源的預(yù)處理作為KDD和DM過(guò)程的重要環(huán)節(jié)，聚類分析作為KDD和DM領(lǐng)域成熟的技術(shù)，這兩者相結(jié)合的研究具有重要的探討意義和應(yīng)用價(jià)值。 本文將聚類分析引入數(shù)據(jù)資源的預(yù)處理，進(jìn)行了多方面的研究，取得以

3、下主要成果： 1．借鑒分裂型層次化聚類方式，分別從平面、立面、空間等三個(gè)層次綜合構(gòu)建基于層次分析法的數(shù)據(jù)庫(kù)聚類預(yù)處理DCP-AHP方法，突出運(yùn)用層次化思維來(lái)迭代評(píng)估目標(biāo)，剔除相異度高的數(shù)據(jù)對(duì)象集合，達(dá)到聚類清理數(shù)據(jù)對(duì)象集合的目的，減少定性問(wèn)題定量化后誤差的影響。 2．按照相關(guān)性最小原則，提出數(shù)據(jù)庫(kù)主成份提取的聚類預(yù)處理DCP-PCE方法進(jìn)行高維數(shù)據(jù)系統(tǒng)的降維處理，獲得數(shù)據(jù)對(duì)象變異最大方向的投影作為特定數(shù)據(jù)對(duì)象集合中的各個(gè)

4、主成份，實(shí)現(xiàn)分層次的主成份聚類提??；同時(shí)DCP-PCE方法也驗(yàn)證了主成份對(duì)于原有信息全面覆蓋的特性，同步解決了綜合變量覆蓋和降維問(wèn)題，降低了數(shù)據(jù)對(duì)象集合的相異度和維度，實(shí)現(xiàn)了數(shù)據(jù)對(duì)象集合的聚類歸約。 3．利用數(shù)據(jù)對(duì)象的物理存儲(chǔ)屬性本身所具有的“0、1”特性，針對(duì)同體不同源數(shù)據(jù)對(duì)象SEDS提出同體不同源數(shù)據(jù)對(duì)象聚類數(shù)化NC-SEDS算法，將數(shù)據(jù)資源中所有數(shù)據(jù)對(duì)象都通過(guò)數(shù)據(jù)對(duì)象預(yù)處理的過(guò)程轉(zhuǎn)換成數(shù)字狀態(tài)，然后利用數(shù)化后數(shù)據(jù)對(duì)象的數(shù)字

5、狀態(tài)作為聚合歸類的依據(jù)，在不考慮數(shù)據(jù)對(duì)象其他屬性的情況下，提高同體不同源數(shù)據(jù)對(duì)象SEDS的凝聚程度，達(dá)到降低比較次數(shù)、總體執(zhí)行時(shí)間的目的，實(shí)現(xiàn)數(shù)據(jù)對(duì)象的聚類集成。 4．為了貫徹“復(fù)雜問(wèn)題求解”的思想，提出了基于本體核與直方圖的聚類預(yù)處理CPOKH方法。在對(duì)數(shù)據(jù)對(duì)象進(jìn)行聚類預(yù)處理時(shí)，首先得到弱量本體核的客體數(shù)據(jù)頻數(shù)，然后根據(jù)用戶明確的需求信息，獲得所有需要的弱量本體核，并將其結(jié)合成強(qiáng)量本體核，最后通過(guò)“直方圖”的構(gòu)建與分析，明確數(shù)

6、據(jù)對(duì)象的相關(guān)類屬。 5．借鑒“能量”與“碰撞”的基本理念，以數(shù)據(jù)資源預(yù)處理得到的數(shù)據(jù)對(duì)象類或簇作為主要研究對(duì)象，構(gòu)建了基于能量的“有效”動(dòng)態(tài)閾值，實(shí)現(xiàn)了基于能量碰撞的聚類優(yōu)化COEH策略；對(duì)已經(jīng)具備聚類初步特征的數(shù)據(jù)空間進(jìn)行用戶主題需求的能量驅(qū)動(dòng)，把聚類內(nèi)部的數(shù)據(jù)對(duì)象與孤立點(diǎn)數(shù)據(jù)對(duì)象放在統(tǒng)一的認(rèn)識(shí)平臺(tái)中加以統(tǒng)籌處理，保證了數(shù)據(jù)對(duì)象的聚類優(yōu)化。 同時(shí)，作為理論成果的應(yīng)用研究，本文選擇了高校教育評(píng)估體系作為應(yīng)用研究對(duì)象，將聚