基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識別方法與實現(xiàn).pdf

1、隨著計算機(jī)網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和信息時代的到來，網(wǎng)絡(luò)使用頻率的不斷增加造成了互聯(lián)網(wǎng)的數(shù)據(jù)流量爆發(fā)式增長;網(wǎng)絡(luò)新應(yīng)用的不斷出現(xiàn)造成了網(wǎng)絡(luò)通信協(xié)議使用更加靈活、混雜;網(wǎng)絡(luò)病毒、竊聽和惡意攻擊等行為不斷增多造成了網(wǎng)絡(luò)安全成為社會和政府部門關(guān)注的熱點。這些問題可以通過網(wǎng)絡(luò)流量識別得到很好的解決。因此，網(wǎng)絡(luò)流量識也越來越受到人們的重視。
　　已經(jīng)有許多不同的流量識別方法，但從研究和應(yīng)用角度人們越來越關(guān)注流量識別的可行性和有效性，即如何快速地處

2、理海量的數(shù)據(jù)和如何正確地識別網(wǎng)絡(luò)中的各種應(yīng)用。面臨不斷變化的網(wǎng)絡(luò)環(huán)境，本論文主要研究基于機(jī)器學(xué)習(xí)(MachineLearning，ML)的網(wǎng)絡(luò)流量識別方法，重點采用了后向傳播(BackPropagation，BP)神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)(SupportVectorMachine，SVM)兩種監(jiān)督學(xué)習(xí)算法。
　　BP神經(jīng)網(wǎng)絡(luò)采用分布、并行的網(wǎng)狀結(jié)構(gòu)進(jìn)行訓(xùn)練學(xué)習(xí)，使其容錯性更高，處理速度更快;BP神經(jīng)網(wǎng)絡(luò)具有很好的非線性映射能力，可以模

3、擬輸入與輸出的非線性關(guān)系;同時，BP神經(jīng)網(wǎng)絡(luò)是通過全局尋優(yōu)的方式進(jìn)行訓(xùn)練的，因此BP網(wǎng)絡(luò)也具有很高的泛化能力。SVM則是針對小樣本的機(jī)器學(xué)習(xí)方法，并且通過內(nèi)積核函數(shù)將低維樣本空間非線性映射到高維空間，其具有比較完善的理論基礎(chǔ)。SVM采用“轉(zhuǎn)導(dǎo)推理”(TransductiveInference)方法可以很容易的解決非線性多分類問題。SVM的最優(yōu)分類超平面只由邊界上有限的支持向量構(gòu)成，使得SVM方法不僅簡單有效，而且具有很好的魯棒性。這兩種

4、機(jī)器學(xué)習(xí)算法都能夠適應(yīng)網(wǎng)絡(luò)環(huán)境中的大數(shù)據(jù)和多樣性，都能夠快速有效的識別網(wǎng)絡(luò)流量的應(yīng)用類型。
　　本論文的流量識別系統(tǒng)是以家庭中的網(wǎng)絡(luò)流為識別對象，該系統(tǒng)從功能上分為家庭網(wǎng)關(guān)和后臺服務(wù)器兩部分。家庭網(wǎng)關(guān)實時抓取數(shù)據(jù)包、提取特征，并通過機(jī)器學(xué)習(xí)的方法進(jìn)行流量識別，然后將識別結(jié)果傳送給后臺服務(wù)器;后臺服務(wù)器將識別結(jié)果存入數(shù)據(jù)庫，并顯示當(dāng)前網(wǎng)絡(luò)中流量的應(yīng)用類型，便于管理者進(jìn)行監(jiān)管。論文研究的主要貢獻(xiàn)如下:
　　1、通過對網(wǎng)絡(luò)流量識別

5、和機(jī)器學(xué)習(xí)的研究與分析，BP神經(jīng)網(wǎng)絡(luò)能夠適應(yīng)互聯(lián)網(wǎng)的大數(shù)據(jù)和多樣性特點，在此基礎(chǔ)上選擇了基于BP神經(jīng)網(wǎng)絡(luò)的流量識別方法。即選擇三層的BP神經(jīng)網(wǎng)絡(luò)作為實現(xiàn)方案，其分類能力滿足流量識別的要求并且結(jié)構(gòu)簡單易于實現(xiàn)。選擇S型函數(shù)作為BP神經(jīng)網(wǎng)絡(luò)隱含層的轉(zhuǎn)移函數(shù)，實現(xiàn)對網(wǎng)絡(luò)流特征等輸入信息的菲線性映射。雖然BP神經(jīng)網(wǎng)絡(luò)容易陷入誤差曲面的局部極小，但是通過粒子群算法（ParticleSwarmOptimization，PSO）尋找具有全局最優(yōu)特性的

6、初始化權(quán)值，保證BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練時能夠進(jìn)入誤差曲面的全局最小。實驗結(jié)果表明，經(jīng)過PSO算法優(yōu)化的BP神經(jīng)網(wǎng)絡(luò)能夠很快尋找到誤差曲面的全局最小值，并準(zhǔn)確識別流量的網(wǎng)絡(luò)應(yīng)用類型。
　　2、仔細(xì)研究SVM解決線性和非線性分類問題的原理，在此基礎(chǔ)上提出了基于SVM的流量識別方法，將SVM應(yīng)用于網(wǎng)絡(luò)流量識別領(lǐng)域。選擇徑向基函數(shù)作為SVM的核函數(shù)，實現(xiàn)從低維的網(wǎng)絡(luò)流特征空間向更高維空間的非線性映射。并通過一對一方法(One-Against-O

7、ne)構(gòu)造了SVM多值分類器，使SVM能夠識別多種網(wǎng)絡(luò)應(yīng)用類型。SVM在高維空間中生成最優(yōu)超平面，實現(xiàn)對空間的劃分和多種網(wǎng)絡(luò)應(yīng)用的分類，這是一種全局尋優(yōu)的方式因此SVM的識別方法具有很好的泛化能力。實驗結(jié)果表明，SVM非常適合解決網(wǎng)絡(luò)流量識別這種非線性多分類問題，而且所需訓(xùn)練樣本少，計算復(fù)雜度低，能夠進(jìn)行實時識別。
　　3、在家庭局域網(wǎng)中設(shè)計和實現(xiàn)了流量識別系統(tǒng)。根據(jù)機(jī)器學(xué)習(xí)的系統(tǒng)模型和監(jiān)督學(xué)習(xí)的實現(xiàn)方法，設(shè)計了網(wǎng)絡(luò)流量識別的總體

8、架構(gòu)，將其分為實時在線流量識別和離線訓(xùn)練學(xué)習(xí)兩部分，具體過程包含抓取網(wǎng)絡(luò)流的數(shù)據(jù)包，生成網(wǎng)絡(luò)流的特征，選擇訓(xùn)練集和測試集，對機(jī)器學(xué)習(xí)算法進(jìn)行訓(xùn)練，和測試兩種流量識別算法的分類效果。在系統(tǒng)實現(xiàn)方面，將BP神經(jīng)網(wǎng)絡(luò)和SVM的流量識別算法編寫為程序，并移植到家庭網(wǎng)關(guān)（家庭網(wǎng)關(guān)由路由器搭建）中。在后臺服務(wù)器的Linux平臺上搭建Web服務(wù)器和安裝MySQL數(shù)據(jù)庫，實現(xiàn)家庭網(wǎng)關(guān)與后臺服務(wù)器之間的交互通信、信息處理和存儲。管理員則可以通過Web瀏覽