分布式數(shù)據(jù)流處理系統(tǒng)動(dòng)態(tài)負(fù)載管理研究.pdf

1、近年來，網(wǎng)絡(luò)路由、入侵檢測(cè)、傳感器網(wǎng)絡(luò)、股票分析、交通管理、移動(dòng)通信、環(huán)境監(jiān)測(cè)、健康狀況監(jiān)控、基于RFID的物品跟蹤、電子商務(wù)交易信息以及數(shù)字化戰(zhàn)場(chǎng)等應(yīng)用領(lǐng)域的數(shù)據(jù)不斷增長(zhǎng)，給傳統(tǒng)的數(shù)據(jù)處理技術(shù)帶來了極大的挑戰(zhàn)。這類應(yīng)用具有數(shù)據(jù)量巨大、數(shù)據(jù)持續(xù)不斷地到達(dá)且沒有邊界、具有一定的實(shí)時(shí)性以及數(shù)據(jù)具有時(shí)效性等特點(diǎn)，傳統(tǒng)的數(shù)據(jù)處理方式已經(jīng)難以適應(yīng)這類應(yīng)用的需要。近年來出現(xiàn)的數(shù)據(jù)流管理技術(shù)，為這一類應(yīng)用提供了一條很好的途徑，這一研究領(lǐng)域得到了研究工

2、作者的密切關(guān)注。 負(fù)載管理是保證數(shù)據(jù)流處理系統(tǒng)正常運(yùn)行，提高數(shù)據(jù)流處理系統(tǒng)性能的關(guān)鍵技術(shù)之一?，F(xiàn)有的數(shù)據(jù)流處理系統(tǒng)存在擴(kuò)展性不強(qiáng)、適應(yīng)面狹窄等問題，難以適應(yīng)分布式數(shù)據(jù)流處理的需要。本文對(duì)數(shù)據(jù)流處理系統(tǒng)的基本結(jié)構(gòu)、工作原理、實(shí)現(xiàn)方法以及系統(tǒng)特點(diǎn)等進(jìn)行了討論，針對(duì)單位時(shí)間內(nèi)輸入系統(tǒng)的數(shù)據(jù)元組變化引起的系統(tǒng)過載問題，探討了數(shù)據(jù)流處理系統(tǒng)負(fù)載管理模型的構(gòu)建方法，并對(duì)負(fù)載平衡、負(fù)載丟棄以及分布式多數(shù)據(jù)流的連接操作等關(guān)鍵技術(shù)進(jìn)行了深入地研究

3、。主要工作和研究成果如下： （1）提出了一種基于Chord擴(kuò)展的層次型重疊網(wǎng)絡(luò)vRing，通過對(duì)Chord進(jìn)行擴(kuò)展，充分利用網(wǎng)絡(luò)的接近性構(gòu)造vRing，從而形成一個(gè)分層的重疊網(wǎng)絡(luò)，為系統(tǒng)的負(fù)載平衡提供一個(gè)合適的底層網(wǎng)絡(luò)。在vRing的基礎(chǔ)上，提出了一種分層的分布式動(dòng)態(tài)數(shù)據(jù)流負(fù)載平衡算法vDDSLB。當(dāng)某個(gè)節(jié)點(diǎn)超載時(shí)，負(fù)載平衡算法先在位于同一子域的節(jié)點(diǎn)間進(jìn)行負(fù)載的遷移；當(dāng)同一子域中的負(fù)載平衡仍不能滿足需要時(shí)，再選擇在整個(gè)系統(tǒng)范圍內(nèi)

4、進(jìn)行負(fù)載平衡。絕大部分的負(fù)載遷移活動(dòng)都位于相應(yīng)的子域內(nèi)，減少了數(shù)據(jù)延遲和系統(tǒng)開銷。 （2）提出了一種基于線性規(guī)劃的分布式負(fù)載丟棄算法LPBDLS。目前的負(fù)載丟棄算法主要側(cè)重于單個(gè)節(jié)點(diǎn)內(nèi)部的處理，對(duì)于節(jié)點(diǎn)間的負(fù)載丟棄研究較少，本文提出的LPBDLS算法是一種分布式的負(fù)載丟棄算法，除了考慮CPU約束外，還將網(wǎng)絡(luò)連接做為一個(gè)重要約束條件，提高了網(wǎng)絡(luò)連接受限情況下的系統(tǒng)吞吐量。 （3）提出了一種多數(shù)據(jù)流分布式連接查詢算法DMS-

5、Join。由于數(shù)據(jù)流系統(tǒng)天然的分布性，將連接操作分布處理比集中式處理更適合多數(shù)據(jù)流系統(tǒng)的特點(diǎn)，在分布式環(huán)境下，網(wǎng)絡(luò)傳輸帶寬是一定的，本文提出的算法，在網(wǎng)絡(luò)傳輸約束條件下，能夠有效地完成多數(shù)據(jù)流的分布式連接操作問題。 （4）提出了一個(gè)基于vRing的動(dòng)態(tài)分布式負(fù)載管理系統(tǒng)框架。該系統(tǒng)框架建立在Chord重疊網(wǎng)絡(luò)的擴(kuò)展vRing的基礎(chǔ)之上，利用vRing的網(wǎng)絡(luò)接近性和其分層的特性，設(shè)計(jì)了一個(gè)分層的動(dòng)態(tài)分布式負(fù)載管理系統(tǒng)框架。