數(shù)據(jù)流聚集查詢和頻繁模式挖掘的研究.pdf

1、數(shù)據(jù)流模型的出現(xiàn)對傳統(tǒng)的數(shù)據(jù)管理技術(shù)提出了巨大的挑戰(zhàn)，由于數(shù)據(jù)的流動性和無限性等特點，已有的數(shù)據(jù)庫技術(shù)無法對數(shù)據(jù)流數(shù)據(jù)進(jìn)行有效的管理，因此，必須進(jìn)行數(shù)據(jù)流管理新技術(shù)的研究。數(shù)據(jù)流管理技術(shù)已經(jīng)引起了數(shù)據(jù)庫界的廣泛關(guān)注，成為當(dāng)前的一個研究熱點。研究數(shù)據(jù)流相關(guān)技術(shù)不僅有重要的學(xué)術(shù)價值，而且在傳感器網(wǎng)絡(luò)、氣象監(jiān)測與分析、移動物體位置跟蹤、股票分析、郵件過濾、網(wǎng)絡(luò)監(jiān)控與安全等領(lǐng)域有著巨大的應(yīng)用前景。本文對數(shù)據(jù)流管理系統(tǒng)和數(shù)據(jù)流挖掘中的若干關(guān)鍵問題

2、進(jìn)行了深入探索，主要有以下內(nèi)容： (1)數(shù)據(jù)流管理系統(tǒng)的體系結(jié)構(gòu)：面向高速數(shù)據(jù)流，提出了一個基于硬件預(yù)處理的數(shù)據(jù)流管理系統(tǒng)體系結(jié)構(gòu)。目前已有的原型系統(tǒng)都是從查詢優(yōu)化、系統(tǒng)調(diào)度等方面來提高數(shù)據(jù)的處理速度，在高速數(shù)據(jù)流環(huán)境下都存在明顯的不足，因此，本文從一個全新的角度構(gòu)建新一代數(shù)據(jù)流管理系統(tǒng)，在體系結(jié)構(gòu)上采用軟硬件協(xié)同的思想和前端硬件預(yù)處理技術(shù)，實現(xiàn)數(shù)據(jù)的高速處理。 (2)高速數(shù)據(jù)流聚集查詢：目前已有的聚集算法絕大多數(shù)是采用

3、近似技術(shù)，以犧牲精度來換取速度的提高。隨著硬件技術(shù)的快速發(fā)展和硬件成本的迅速下降，軟硬件協(xié)同技術(shù)逐漸引起了人們的關(guān)注。本文提出了一種軟硬件協(xié)同的高速數(shù)據(jù)流聚集查詢方法，發(fā)揮了硬件在處理速度上的優(yōu)勢和軟件在靈活性方面的長處，也研究了提高查詢資源共享度的方法。 (3)分布式數(shù)據(jù)流增量聚集查詢：分布式處理是數(shù)據(jù)流管理系統(tǒng)發(fā)展的必然趨勢。而在分布式系統(tǒng)中，傳輸量往往是系統(tǒng)的主要瓶頸，因此，本文研究并提出了一種分布式數(shù)據(jù)流增量聚集方法，可

4、以顯著地降低系統(tǒng)的通信量。 (4)數(shù)據(jù)流頻繁閉合模式：頻繁閉合模式能夠唯一地決定所有的頻繁模式及其準(zhǔn)確的支持度，并且往往數(shù)量比頻繁模式小幾個數(shù)量級，在實際中更容易理解和應(yīng)用。本文研究了動態(tài)數(shù)據(jù)流環(huán)境下的頻繁閉合模式挖掘，目前還很少有這方面的研究報道。滑動窗口和界標(biāo)窗口是數(shù)據(jù)流環(huán)境下兩種最重要的窗口類型，本文分別研究并提出了基于滑動窗口和基于界標(biāo)窗口的數(shù)據(jù)流頻繁閉合模式挖掘新算法，算法具有較好的適應(yīng)性和可擴展性，用戶可以根據(jù)需要，