面向海量數(shù)據(jù)的流式計算模型設(shè)計及應(yīng)用.pdf

1、云計算、移動互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)等新興信息技術(shù)和應(yīng)用模式的迅速普及，致使全世界數(shù)據(jù)量劇增，推進(jìn)人類社會進(jìn)入海量數(shù)據(jù)時代。如何從這些海量數(shù)據(jù)中提取出有價值的信息，為大數(shù)據(jù)的計算帶來前所未有的挑戰(zhàn)和機(jī)遇。同時，數(shù)據(jù)的價值通常隨著時間的流逝而降低，所以事件出現(xiàn)后必須盡快地對它們進(jìn)行處理，而不是緩存起來成一批處理。例如比如股票交易的數(shù)據(jù)等，數(shù)據(jù)實時性強(qiáng)，數(shù)據(jù)量大，沒有止境，傳統(tǒng)的批量計算模式已不再適用。為了應(yīng)對海量數(shù)據(jù)實時計算的要求，流式計算模式被

2、提出。所謂流式計算是指將數(shù)據(jù)看作數(shù)據(jù)流的形式來處理。在流數(shù)據(jù)不斷變化的過程中實時地進(jìn)行分析，捕捉到可能對有價值的信息，并把結(jié)果發(fā)送出去。
　　本文以流式計算在實踐中的應(yīng)用、優(yōu)化為核心，首先系統(tǒng)地梳理和分析了當(dāng)前流式計算系統(tǒng)的研究和發(fā)展現(xiàn)狀。然后結(jié)合流式大數(shù)據(jù)所呈現(xiàn)出的實時性、突發(fā)性等特征，分析了現(xiàn)有流式計算系統(tǒng)在應(yīng)對數(shù)據(jù)突發(fā)性等方面的局限性。即由于現(xiàn)有的流式計算模型采用拓?fù)浣Y(jié)構(gòu)加靜態(tài)指定路由的策略，當(dāng)流式數(shù)據(jù)的產(chǎn)生量突增時，通常無

3、法動態(tài)的進(jìn)行節(jié)點擴(kuò)展，會造成消息積壓和處理延遲，從而丟失流式處理模型實時性的本質(zhì)。在此基礎(chǔ)之上，本文構(gòu)建了一種具備高動態(tài)伸縮性和計算可靠性的流式計算模型，這種模型放棄了在啟動時固定節(jié)點個數(shù)以及節(jié)點之間路由關(guān)系的靜態(tài)路由策略，轉(zhuǎn)而采用路由信息分組和按組編號獲取路由信息的動態(tài)路由策略。對于該策略，可以通過提供的接口自由的對分組路由信息進(jìn)行增加和修改，極大的提高了系統(tǒng)的熱伸縮性，從而實現(xiàn)了應(yīng)對流式數(shù)據(jù)的突發(fā)的特性。另外，通過對消息的執(zhí)行路徑進(jìn)

4、行跟蹤，本文設(shè)計的模型實現(xiàn)了消息級別的可靠性，當(dāng)消息因為節(jié)點發(fā)生故障丟失時，會觸發(fā)消息源的重傳機(jī)制，從而避免消息的丟失。同時通過采用類似XOR方式的跟蹤策略，跟蹤每個消息的內(nèi)存消耗被限制為固定的大小，進(jìn)而極大的節(jié)省了跟蹤花銷。最后結(jié)合實際應(yīng)用——廢棄話單處理系統(tǒng)，給出了這種模型的實現(xiàn)和應(yīng)用。本文開發(fā)的廢棄話單處理系統(tǒng)有效的實現(xiàn)了對移動廢棄話單的異常監(jiān)控、定位與及時告知，進(jìn)而有效的減少了移動的計費損失，并且通過實際應(yīng)用數(shù)據(jù)驗證了本文提出的