數(shù)據(jù)包捕獲系統(tǒng)的存儲性能優(yōu)化方法研究及實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)用戶的持續(xù)增長、網(wǎng)絡(luò)應(yīng)用的不斷涌現(xiàn),互聯(lián)網(wǎng)已成為人類社會的信息基礎(chǔ)設(shè)施。目前互聯(lián)網(wǎng)的網(wǎng)絡(luò)規(guī)模正繼續(xù)擴(kuò)大,網(wǎng)絡(luò)傳輸速率也越來越高。由于互聯(lián)網(wǎng)的基礎(chǔ)性地位,提高網(wǎng)絡(luò)資源使用效率,優(yōu)化網(wǎng)絡(luò)性能,保證互聯(lián)網(wǎng)的高效運行非常重要。網(wǎng)絡(luò)流量監(jiān)測通過對網(wǎng)絡(luò)流量的采集與分析,可對網(wǎng)絡(luò)運行狀況進(jìn)行全面了解,從而為網(wǎng)絡(luò)管理、網(wǎng)絡(luò)優(yōu)化、協(xié)議設(shè)計、網(wǎng)絡(luò)行為分析、網(wǎng)絡(luò)安全等提供了依據(jù)和指導(dǎo),成為研究的焦點,得到人們的重視。
　　網(wǎng)絡(luò)流量監(jiān)測的主要過程

2、包括網(wǎng)絡(luò)流量的實時采集、數(shù)據(jù)包存儲與后續(xù)流量分析等,其中流量實時采集是基礎(chǔ)。以保證包捕獲過程不丟包為目標(biāo),目前已提出了多種包捕獲的方法和工具來實現(xiàn)流量的實時采集,它們的改進(jìn)主要集中在提高數(shù)據(jù)包從網(wǎng)卡拷貝到內(nèi)存的效率。但對于流量監(jiān)測而言,通常流量的實時采集和實時存儲是不可分割的過程,在對包捕獲過程進(jìn)行了優(yōu)化之后,數(shù)據(jù)包的實時存儲往往成為性能瓶頸。已有研究在數(shù)據(jù)包存儲時由于需要在用戶空間和內(nèi)核空間反復(fù)進(jìn)行數(shù)次拷貝,使得包捕獲系統(tǒng)最終出現(xiàn)丟包

3、。本文在對包捕獲技術(shù)及系統(tǒng)的深入調(diào)研和分析的基礎(chǔ)上,對數(shù)據(jù)包捕獲系統(tǒng)的實時存儲過程進(jìn)行改進(jìn)和優(yōu)化,完成的主要工作有:
　　1.對現(xiàn)有的包捕獲技術(shù)和系統(tǒng)進(jìn)行了較深入的調(diào)研和分析。發(fā)現(xiàn)現(xiàn)有技術(shù)主要關(guān)注優(yōu)化數(shù)據(jù)包從網(wǎng)卡拷貝到內(nèi)存時的流程,降低數(shù)據(jù)包捕獲時的開銷。但由于流量監(jiān)測往往還需要將捕獲的數(shù)據(jù)包存儲到硬盤等外部存儲設(shè)備,現(xiàn)有技術(shù)較少在這方面進(jìn)行優(yōu)化,使得數(shù)據(jù)包存儲時還需要在用戶空間和內(nèi)核空間進(jìn)行多次拷貝,開銷較大,出現(xiàn)丟包。

4、　　2.以通用軟、硬件架構(gòu)為平臺,提出了一種從內(nèi)核空間直接到外部存儲的數(shù)據(jù)包實時存儲方法。實現(xiàn)了一個內(nèi)核空間的包捕獲和存儲模塊來改善存儲效率。所提出的LPKP內(nèi)核數(shù)據(jù)包捕獲模塊通過實現(xiàn)內(nèi)核直接寫磁盤、數(shù)據(jù)包緩存優(yōu)化設(shè)計及多核 CPU的優(yōu)化調(diào)度等措施使數(shù)據(jù)包捕獲在整個從網(wǎng)卡到磁盤存儲過程都沒有穿過用戶空間,同時避免了內(nèi)核到用戶空間以及用戶到內(nèi)核空間的內(nèi)存拷貝所帶來的開銷,消除了不必要的內(nèi)存拷貝。
　　3.搭建了實驗平臺,對所提出的方