流量數(shù)據(jù)時(shí)間機(jī)系統(tǒng)的改進(jìn)研究.pdf

1、流量數(shù)據(jù)是對(duì)網(wǎng)絡(luò)規(guī)劃、網(wǎng)絡(luò)管理、網(wǎng)絡(luò)安全、新網(wǎng)絡(luò)協(xié)議等研究工作的重要基礎(chǔ)。隨著網(wǎng)絡(luò)的不斷發(fā)展，規(guī)模不斷擴(kuò)大，網(wǎng)絡(luò)數(shù)據(jù)流量急劇增加，高速網(wǎng)絡(luò)越來越普遍。低速網(wǎng)絡(luò)環(huán)境下使用一般的工具就能記錄所有流量數(shù)據(jù)，再簡(jiǎn)單過濾掉無用的數(shù)據(jù)就可以減少要存儲(chǔ)的數(shù)據(jù)量。但是，在高速網(wǎng)絡(luò)環(huán)境下，大量記錄數(shù)據(jù)和簡(jiǎn)單過濾都變得不太可能。所以，設(shè)計(jì)針對(duì)高速網(wǎng)絡(luò)海量數(shù)據(jù)的實(shí)時(shí)存儲(chǔ)與查詢系統(tǒng)已經(jīng)成為當(dāng)前網(wǎng)絡(luò)測(cè)量領(lǐng)域越來越重要的挑戰(zhàn)。
　　 流量數(shù)據(jù)時(shí)間機(jī)(Tim

2、e Machine)系統(tǒng)是由Stefan Kornexl和他的同伴在2005年設(shè)計(jì)提出的一種基于動(dòng)態(tài)過濾方案和緩沖存儲(chǔ)裝置的系統(tǒng)。該系統(tǒng)針對(duì)高速網(wǎng)絡(luò)，其設(shè)計(jì)目的主要有兩個(gè)：大量記錄高通信流量并保存一段時(shí)間和讓使用者能方便快速的查找所需要的歷史數(shù)據(jù)。到目前為止，時(shí)間機(jī)系統(tǒng)是對(duì)高速網(wǎng)絡(luò)環(huán)境下的海量數(shù)據(jù)實(shí)時(shí)存儲(chǔ)性能最好的系統(tǒng)。
　　 本文對(duì)時(shí)間機(jī)系統(tǒng)的反饋數(shù)據(jù)的特征字符串匹配以及系統(tǒng)的數(shù)據(jù)存儲(chǔ)兩部分進(jìn)行了有效的改進(jìn)。首先，為了能在高速

3、網(wǎng)絡(luò)環(huán)境下有效的進(jìn)行實(shí)時(shí)數(shù)據(jù)監(jiān)測(cè)或內(nèi)容審計(jì)，提出Sunday字符串匹配算法的改進(jìn)版本RoSunday算法，用于對(duì)系統(tǒng)反饋回的包數(shù)據(jù)進(jìn)行特征字符串的匹配，以加快查詢匹配的速度，提高數(shù)據(jù)檢測(cè)的效率。同時(shí)，為了在不影響數(shù)據(jù)查詢速度的前提下提高時(shí)間機(jī)系統(tǒng)的空間利用率，給每個(gè)數(shù)據(jù)包建立了查詢-分類兩級(jí)索引，并選出一種相對(duì)較優(yōu)的無損壓縮算法用于對(duì)數(shù)據(jù)包存儲(chǔ)前的壓縮。這樣，使用者只需要在索引文件中查詢所需數(shù)據(jù)的相應(yīng)查詢索引項(xiàng)，由于數(shù)據(jù)包在壓縮的同時(shí)，