數(shù)據(jù)流卸載技術(shù)研究.pdf

1、隨著數(shù)據(jù)流應(yīng)用系統(tǒng)的快速發(fā)展，流數(shù)據(jù)管理系統(tǒng)對數(shù)據(jù)庫技術(shù)提出了巨大挑戰(zhàn)。由于數(shù)據(jù)流經(jīng)常是爆發(fā)性的且數(shù)據(jù)特征可能隨時變化，因此要求數(shù)據(jù)流管理系統(tǒng)具有良好的自適應(yīng)性。當流數(shù)據(jù)的速率超過系統(tǒng)資源限制時，系統(tǒng)會產(chǎn)生過載導致性能下降甚至癱瘓。為解決這一問題，卸載技術(shù)是一種行之有效的方法。在這種研究背景下，本文在深入分析數(shù)據(jù)流卸載技術(shù)相關(guān)問題的基礎(chǔ)上，提出了一些新的卸載策略，并通過大量試驗，驗證了提出策略的高效性。下面對本文的主要工作和貢獻總結(jié)如下

2、： 首先，提出了一種全面考慮CPU處理能力及內(nèi)存容量的QoS自適應(yīng)框架。該框架能夠在系統(tǒng)資源有限、數(shù)據(jù)輸入速度及特征可變的情況下，使系統(tǒng)具有良好的自適應(yīng)能力以確保高質(zhì)量的QoS?？蚣馨ㄉ舷掠蝺蓚€部分，其中上游部分為內(nèi)存管理器，由卸載器、清洗器和調(diào)度器三個部分構(gòu)成，主要負責對DSMS中的內(nèi)存緩沖區(qū)進行有效管理。試驗結(jié)果表明，該框架具有穩(wěn)定性好、健壯性強的優(yōu)點，在錯失率相同的情況下，卸載率、系統(tǒng)資源利用率等幾方面性能均優(yōu)于現(xiàn)有其它

3、方法。在這方面的主要內(nèi)容包括： (1)將基于控制理論的PID控制器引入內(nèi)存負載管理：分析現(xiàn)有隊列管理方法的基礎(chǔ)上，在卸載器的設(shè)計中運用了PID控制器，將隊列長度維持在期望的占空比，以便達到降低排隊延遲、提高吞吐量，同時保持相當?shù)年犃锌臻g來吸收突發(fā)且重要數(shù)據(jù)的目的。將自動控制理論的相關(guān)技術(shù)引入數(shù)據(jù)流管理是我們的突出貢獻點，是富有創(chuàng)新性且積極有效的； (2)提出了截止期．重要性優(yōu)先的實時調(diào)度算法DIF：當在實際應(yīng)用中需要同時

4、考慮流數(shù)據(jù)截止期和重要性兩個特征參數(shù)并為流數(shù)據(jù)分派優(yōu)先級時，針對其它調(diào)度算法的不足，將數(shù)據(jù)優(yōu)先級作為流數(shù)據(jù)相對截止期和重要性的線性加權(quán)平均，并同時考慮了系統(tǒng)的負載情況。試驗表明在所有負載條件下，DIF算法相對于其它調(diào)度算法在性能方面具有明顯改善； (3)提出了有效的清洗策略：運用一階指數(shù)平滑的方法來估算每個元組平均處理時間及在隊列中的平均等待時間，在此基礎(chǔ)上提出了有效的清洗策略將不滿足查詢QoS要求的數(shù)據(jù)從隊列中及時清除以節(jié)省

5、系統(tǒng)資源。 其次，針對數(shù)據(jù)流上滑動窗口的連接操作，提出了一些新的卸載技術(shù)，使得系統(tǒng)在過載的情況下通過丟棄連接結(jié)果少的元組，達到減輕系統(tǒng)負載使系統(tǒng)穩(wěn)定的目的，同時得到連接結(jié)果的最大子集。對合成數(shù)據(jù)集和真實數(shù)據(jù)集的全面測試表明，本文提出的卸載策略的性能均好于現(xiàn)有其它方法。 在這方面的主要內(nèi)容包括： (1)提出雙窗口模型的概念：在分析數(shù)據(jù)流基于窗口連接操作模型及代價模型的基礎(chǔ)上，建立了包括連接窗口和輔助窗口在內(nèi)的雙窗口

6、模型，前者用于兩個流的連接操作，后者用于建立預(yù)估連接結(jié)果的統(tǒng)計信息，為語義卸載提供有效支持。分別采用了窗口計數(shù)器、預(yù)估數(shù)組和頻率數(shù)組來維護相應(yīng)統(tǒng)計信息，并在實際中使用樹狀數(shù)組取代頻率數(shù)組以提高計算效率； (2)提出前后端卸載的策略：在雙窗口模型上采用了前后端卸載的方法，經(jīng)分析和推導證明了在不同數(shù)據(jù)流速情況下，通過前端卸載和后端卸載的配合使用，前端采用隨機卸載而后端采用理想的語義卸載，從而得到連接結(jié)果的最大子集； (3)提