基于衰減窗口與剪枝鏈表樹(shù)的高維數(shù)據(jù)流聚類(lèi)算法研究.pdf

1、近幾年來(lái),隨著以互聯(lián)網(wǎng)為代表的計(jì)算機(jī)信息技術(shù)的普及,數(shù)據(jù)呈飛速增長(zhǎng)的趨勢(shì),人們積累的信息量達(dá)到了TB級(jí),甚至PB級(jí)。在現(xiàn)實(shí)生活中,許多數(shù)據(jù)是以動(dòng)態(tài)的“連續(xù)數(shù)據(jù)流”的形式出現(xiàn)的,它不同于傳統(tǒng)的數(shù)據(jù)被存在靜態(tài)介質(zhì)中,可以被多次訪問(wèn)。數(shù)據(jù)流的特點(diǎn)是:(1)數(shù)據(jù)規(guī)模大；(2)維數(shù)高；(3)到達(dá)速度快；(4)潛在無(wú)序性；(5)每個(gè)元素只能被訪問(wèn)一次。因此,許多傳統(tǒng)的聚類(lèi)算法已經(jīng)無(wú)法獲得有意義的聚類(lèi)結(jié)果,針對(duì)高維數(shù)據(jù)流普遍存在的“維度災(zāi)難"問(wèn)題,本

2、文將重點(diǎn)圍繞如下幾個(gè)問(wèn)題展開(kāi):
　　 (1)如何設(shè)計(jì)有效的聚類(lèi)算法,適應(yīng)持續(xù)快速到來(lái)的高維數(shù)據(jù)流?
　　 (2)在聚類(lèi)過(guò)程中,如何發(fā)現(xiàn)更多的聚類(lèi),提高聚類(lèi)效果?
　　 (3)在聚類(lèi)過(guò)程中,如何降低內(nèi)存消耗?
　　 (4)在聚類(lèi)過(guò)程中,如何提高算法的效率,減少算法的運(yùn)行時(shí)間?
　　 本文在對(duì)經(jīng)典的數(shù)據(jù)流聚類(lèi)算法進(jìn)行學(xué)習(xí)和研究后,針對(duì)經(jīng)典算法存在的不足,進(jìn)行了改進(jìn)和提高,提出了一種新的高維數(shù)據(jù)流聚類(lèi)算

3、法。主要工作包括以下三個(gè)方面:
　　 (1)為了有效地控制內(nèi)存規(guī)模,在聚類(lèi)過(guò)程中減少內(nèi)存消耗,本文提出了一種概要數(shù)據(jù)結(jié)構(gòu)一剪枝鏈表樹(shù),簡(jiǎn)稱(chēng)PL-Tree,用來(lái)保存數(shù)據(jù)流的摘要信息,在有任何聚類(lèi)請(qǐng)求時(shí),能夠在線輸出近似的聚類(lèi)結(jié)果。本文采用核心技術(shù)數(shù)據(jù)淘汰和剪枝策略,有效地控制了內(nèi)存規(guī)模,提高了算法的運(yùn)行效率。
　　 (2)為了設(shè)計(jì)一種高效的聚類(lèi)算法,適應(yīng)持續(xù)到來(lái)的高維數(shù)據(jù)流,本文基于PL-Tree概要數(shù)據(jù)結(jié)構(gòu),提出了一種基