不同類型數(shù)據(jù)間的聚類算法.pdf

1、隨著信息時(shí)代的發(fā)展,人們所能獲取的數(shù)據(jù)正成指數(shù)形式的爆炸式增長。這些數(shù)據(jù)往往都具有不同的數(shù)據(jù)類型,如何在這些不同類型的數(shù)據(jù)之間建立聯(lián)系并聚類,便是本文研究的課題。我們提出通過兩個(gè)步驟來完成不同類型數(shù)據(jù)間的聚類:第一個(gè)步驟是對數(shù)據(jù)的預(yù)處理。我們重點(diǎn)介紹了對網(wǎng)頁數(shù)據(jù)的預(yù)處理,并提出了基于塊模板的網(wǎng)頁去雜算法,和基于BloomFilter的網(wǎng)頁去重算法。在網(wǎng)頁去雜算法中,我們以較小的顆粒度來提取模板,使得網(wǎng)頁去雜算法的精確度更高;同時(shí)我們利用

2、BloomFilter結(jié)構(gòu)大大降低了網(wǎng)頁去重算法的時(shí)間復(fù)雜度和空間復(fù)雜度。第二個(gè)步驟是對數(shù)據(jù)的聚類。我們提出,對不同類型的數(shù)據(jù)采用不同的聚類算法(使用K-means算法對網(wǎng)頁數(shù)據(jù)聚類,使用關(guān)聯(lián)性分析對表格數(shù)據(jù)聚類),以便充分利用不同類型數(shù)據(jù)的特點(diǎn),最后整合這些聚類的結(jié)果,從中找出不同類型數(shù)據(jù)之間的聯(lián)系,進(jìn)而完成整個(gè)聚類過程。在我們的實(shí)驗(yàn)中,我們嘗試?yán)靡陨纤惴樾庞每ㄓ脩籼峁V告信息,實(shí)驗(yàn)結(jié)果表明我們的算法可以很好的完成網(wǎng)頁數(shù)據(jù)的預(yù)處理