面向高速網(wǎng)絡(luò)的數(shù)據(jù)流處理系統(tǒng)研究與應(yīng)用.pdf

1、傳統(tǒng)的數(shù)據(jù)庫(kù)管理系統(tǒng)適合于處理針對(duì)有限存儲(chǔ)的數(shù)據(jù)集的一次性查詢。然而，像網(wǎng)絡(luò)監(jiān)控、金融分析、制造業(yè)和傳感器網(wǎng)絡(luò)等現(xiàn)代的應(yīng)用卻需要針對(duì)連續(xù)而且無限的數(shù)據(jù)流進(jìn)行持續(xù)查詢。在這些應(yīng)用中，數(shù)據(jù)不再以有限存儲(chǔ)的數(shù)據(jù)集的形式存在，而是以多重、持續(xù)、快速、時(shí)變形式到達(dá)的數(shù)據(jù)流。在處理這些需要實(shí)時(shí)響應(yīng)的大容量數(shù)據(jù)流時(shí)，傳統(tǒng)數(shù)據(jù)處理基本結(jié)構(gòu)的局限性更加突出。使用傳統(tǒng)的數(shù)據(jù)庫(kù)管理系統(tǒng)，簡(jiǎn)單地將到達(dá)的數(shù)據(jù)裝入數(shù)據(jù)庫(kù)中再進(jìn)行操作是不可行的，因?yàn)樗荒苤苯又С謹(jǐn)?shù)

2、據(jù)流處理中典型的持續(xù)查詢，更重要的是，近似問題和適應(yīng)性是數(shù)據(jù)流處理的兩個(gè)關(guān)鍵因素，而傳統(tǒng)的數(shù)據(jù)庫(kù)管理系統(tǒng)關(guān)注的卻是使用穩(wěn)定的查詢計(jì)劃獲得精確的結(jié)果。因此，現(xiàn)有的數(shù)據(jù)庫(kù)管理系統(tǒng)多數(shù)只能用于為面向數(shù)據(jù)流的應(yīng)用提供離線存儲(chǔ)支持。 本文應(yīng)用閉環(huán)控制理論和一定的運(yùn)算符調(diào)度算法，主要關(guān)注如何建立一種既適合高速網(wǎng)絡(luò)數(shù)據(jù)流傳輸特性，又適合網(wǎng)絡(luò)波動(dòng)環(huán)境的適應(yīng)性數(shù)據(jù)流持續(xù)查詢處理的原型系統(tǒng)。首先，較為詳細(xì)地分析了網(wǎng)絡(luò)數(shù)據(jù)流的傳輸特性；在此基礎(chǔ)上提出

3、數(shù)據(jù)流查詢處理模型設(shè)計(jì)的特殊的功能需求，指出傳統(tǒng)數(shù)據(jù)庫(kù)管理系統(tǒng)在處理數(shù)據(jù)流問題上的局限性；進(jìn)而提出了一個(gè)針對(duì)數(shù)據(jù)流持續(xù)查詢處理的框架模型，該模型以數(shù)據(jù)流查詢處理系統(tǒng)的適應(yīng)性為重點(diǎn)，應(yīng)用低延遲分段調(diào)度策略，實(shí)現(xiàn)在降低內(nèi)存使用需求的同時(shí)，盡量縮小輸出延遲，提高數(shù)據(jù)流處理系統(tǒng)的適應(yīng)性和查詢的精度；在查詢語(yǔ)言方面，以通用的結(jié)構(gòu)化查詢語(yǔ)言SQL為基礎(chǔ)，將數(shù)據(jù)流持續(xù)查詢與現(xiàn)有數(shù)據(jù)庫(kù)管理系統(tǒng)結(jié)合起來，對(duì)標(biāo)準(zhǔn)的SQL增加數(shù)據(jù)流的引用，擴(kuò)充滑動(dòng)窗口的語(yǔ)義