基于邊緣測(cè)量的高速網(wǎng)絡(luò)鏈路流量測(cè)量系統(tǒng)研究.pdf

1、隨著網(wǎng)絡(luò)新業(yè)務(wù)的層出不窮和網(wǎng)絡(luò)用戶的飛速增長(zhǎng)，網(wǎng)絡(luò)業(yè)務(wù)量有了巨大的提升，骨干網(wǎng)絡(luò)的鏈路速度已經(jīng)達(dá)到1Gbps/s～10Gbps/s。目前，大多數(shù)網(wǎng)絡(luò)測(cè)量系統(tǒng)的監(jiān)測(cè)能力已經(jīng)遠(yuǎn)遠(yuǎn)不能適應(yīng)高速網(wǎng)絡(luò)。在1000Mbps/s的鏈路速度下，大多數(shù)測(cè)量系統(tǒng)其報(bào)文丟失率較高，或者根本無法正常運(yùn)行。雖然少數(shù)流量測(cè)量系統(tǒng)可以通過抽樣網(wǎng)絡(luò)中的數(shù)據(jù)報(bào)文在千兆環(huán)境下運(yùn)行，但是抽樣獲得的網(wǎng)絡(luò)測(cè)量數(shù)據(jù)會(huì)對(duì)網(wǎng)絡(luò)狀態(tài)刻畫帶來極大的不確定因素。 面對(duì)網(wǎng)絡(luò)規(guī)模日益龐

2、大，拓?fù)浣Y(jié)構(gòu)越來越復(fù)雜，網(wǎng)絡(luò)鏈路帶寬和業(yè)務(wù)量不斷的增長(zhǎng)，由此網(wǎng)絡(luò)測(cè)量環(huán)境的提速給網(wǎng)絡(luò)測(cè)量帶來了更大的困難，加上網(wǎng)絡(luò)分析技術(shù)對(duì)測(cè)量的要求越來越高，大多數(shù)網(wǎng)絡(luò)測(cè)量系統(tǒng)已經(jīng)表現(xiàn)出了它的局限性。構(gòu)建一個(gè)能夠在高速網(wǎng)絡(luò)中以線速捕獲報(bào)文的測(cè)量系統(tǒng)，設(shè)計(jì)和發(fā)展一個(gè)高性能的測(cè)量平臺(tái)使它具有高效率的可測(cè)量范圍性和靈活性，用來滿足當(dāng)前和未來在高速網(wǎng)絡(luò)環(huán)境中進(jìn)行流量測(cè)量的需要具有重大的意義。 本論文對(duì)高速網(wǎng)絡(luò)鏈路流量測(cè)量系統(tǒng)進(jìn)行了較為深入的研究，主要

3、進(jìn)行了以下四方面的研究工作： （1）研究了基于邊緣測(cè)量的高速網(wǎng)絡(luò)鏈路流量測(cè)量模型，該模型中的關(guān)鍵技術(shù)包括以下三點(diǎn)：一是瓶頸鏈路背景流量的測(cè)量，目的是保證注入的探測(cè)包能夠較為準(zhǔn)確地反映網(wǎng)絡(luò)的路由信息；二是數(shù)據(jù)包快速分類算法，目的是保證在邊緣測(cè)量模塊中能快速準(zhǔn)確地將采集到的數(shù)據(jù)包歸類為所屬的流；三是邊緣測(cè)量單元中sd節(jié)點(diǎn)對(duì)流量測(cè)量系統(tǒng)的實(shí)現(xiàn)，目的是確保我們的思路能夠在實(shí)際中實(shí)現(xiàn)。邊緣測(cè)量模型采用分級(jí)結(jié)構(gòu)包括：邊緣測(cè)量單元（EMU，e

4、dge measure unit）和網(wǎng)絡(luò)匯聚單元（NCU，network convergence unit）。EMU包括兩個(gè)部分：sd節(jié)點(diǎn)對(duì)流量測(cè)量部分和路由探測(cè)部分。EMU通過對(duì)接入流量進(jìn)行測(cè)量獲得相關(guān)的sd節(jié)點(diǎn)對(duì)流量結(jié)果，并根據(jù)對(duì)該點(diǎn)處接入流量的抽樣結(jié)果，發(fā)送探測(cè)包獲取網(wǎng)絡(luò)路由情況，記錄一個(gè)測(cè)量周期內(nèi)所有的路由測(cè)量信息，然后對(duì)測(cè)量結(jié)果進(jìn)行相應(yīng)的統(tǒng)計(jì)處理，并將結(jié)果傳給NCU。NCU周期性的收集、保存各個(gè)EMU的測(cè)量結(jié)果和計(jì)算結(jié)果，然后

5、進(jìn)行全網(wǎng)鏈路流量計(jì)算，并根據(jù)不同的系統(tǒng)需要可以將結(jié)果回送到各個(gè)EMU處。對(duì)于一個(gè)網(wǎng)絡(luò)運(yùn)營(yíng)商的骨干網(wǎng)絡(luò)來說，通常其節(jié)點(diǎn)數(shù)并不會(huì)很多，這樣在EMU和NCU之間需要傳送的信息量并不是很大，當(dāng)測(cè)量周期選擇合適，結(jié)果信息交互不太頻繁時(shí)，如5min，則既不影響測(cè)量的準(zhǔn)確性又減少了所需的通信負(fù)荷。在該模型中，據(jù)此選擇了SNMP框架[75]用于測(cè)量控制信息的管理。NCU作為管理者周期性的輪詢各個(gè)EMU代理，并將計(jì)算所得的全網(wǎng)業(yè)務(wù)流量矩陣以通知的方式發(fā)送

6、給每一個(gè)EMU代理。EMU代理響應(yīng)管理者的輪詢，將預(yù)處理后的測(cè)量結(jié)果傳送給管理者。此外管理者還可以對(duì)EMU代理進(jìn)行配置管理，如啟動(dòng)測(cè)量，下載測(cè)量參數(shù)等工作。EMU代理也可以利用陷阱方式報(bào)告一些故障或錯(cuò)誤的發(fā)生。 （2）研究了基于回歸方程方法的瓶頸鏈路流量監(jiān)測(cè)技術(shù)，目的是監(jiān)測(cè)網(wǎng)絡(luò)中鏈路帶寬使用情況，避免鏈路阻塞等情況發(fā)生，導(dǎo)致主動(dòng)測(cè)量的路由概率誤差較大。因?yàn)樵谶吘墱y(cè)量模型中，我們使用主動(dòng)方法獲取路由信息時(shí)，需要向網(wǎng)絡(luò)中注入探測(cè)包

7、，當(dāng)瓶頸鏈路帶寬飽和時(shí)，我們注入的探測(cè)包無法達(dá)到目的或者改路，直接導(dǎo)致路由概率誤差急劇增大，直至邊緣測(cè)量模型失效。 （3）研究了數(shù)據(jù)包快速分類算法，在邊緣聚合流測(cè)量中，為了準(zhǔn)確測(cè)量各鏈路業(yè)務(wù)流量，我們采用了快速包分類算法，隨著業(yè)務(wù)的細(xì)化，有必要研究多域數(shù)據(jù)包分類算法。在分類算法中針對(duì)無沖突哈希算法的不足提出了一種改進(jìn)算法—稱為基于無沖突哈希和跳轉(zhuǎn)表（Non-collision Hash and Jumping Table Tri

8、e-tree，NHJTTT）的數(shù)據(jù)包分類算法。由于NHJTTT算法內(nèi)存消耗仍然較大且不能支持較大的匹配規(guī)則集，論文又進(jìn)一步研究了Hash算法，提出了一種基于雙哈希（Double Hash，DH）的數(shù)據(jù)包分類算法。該算法能克服常規(guī)Hash算法的用于包分類沖突率高的缺點(diǎn)。兩種算法具有不同的應(yīng)用場(chǎng)合，NHJTTT包分類算法適用于軟件實(shí)現(xiàn)，用于分類規(guī)則數(shù)少的環(huán)境。而DH算法適合于軟件實(shí)現(xiàn)，用于分類規(guī)則較多的場(chǎng)合。 （4）研究了邊緣測(cè)量

9、單元中sd節(jié)點(diǎn)對(duì)流量測(cè)量系統(tǒng)，該系統(tǒng)采用軟件方法實(shí)現(xiàn)，并且將測(cè)量流量模塊作為系統(tǒng)模塊，有效地提高了數(shù)據(jù)包采集速度，避免了丟包的發(fā)生。經(jīng)測(cè)試，Tcpdump單位時(shí)間內(nèi)處理數(shù)據(jù)包的數(shù)量大致在每秒二十四萬(wàn)，我們開發(fā)的流量測(cè)量系統(tǒng)單位時(shí)間內(nèi)處理數(shù)據(jù)包的數(shù)量大致在每秒四十三萬(wàn)。而目前Internet中的高速網(wǎng)絡(luò)（1000Mbit/s）單位時(shí)間內(nèi)的數(shù)據(jù)包數(shù)目大約在78000~355000 packets/s之間，這里構(gòu)建的流量測(cè)量系統(tǒng)完全可以勝任在