基于機(jī)器學(xué)習(xí)的流量分類

1、基于機(jī)器學(xué)習(xí)的加密流量分類研究引言引言隨著互聯(lián)網(wǎng)技術(shù)不斷發(fā)展，網(wǎng)絡(luò)規(guī)模逐漸增大，網(wǎng)絡(luò)應(yīng)用業(yè)務(wù)類型不斷涌現(xiàn)。網(wǎng)絡(luò)應(yīng)用迅速產(chǎn)生了大量流量，對(duì)網(wǎng)絡(luò)業(yè)務(wù)的識(shí)別，監(jiān)視，控制和安全管理方面帶來(lái)巨大的挑戰(zhàn)。互聯(lián)網(wǎng)各種應(yīng)用類型有著自身的統(tǒng)計(jì)特征，通過(guò)分析這些特征，可以對(duì)網(wǎng)絡(luò)流量進(jìn)行有效分類，幫助網(wǎng)絡(luò)管理人員對(duì)網(wǎng)絡(luò)流量進(jìn)行控制。傳統(tǒng)的流量分類方案一般是基于數(shù)據(jù)包載荷信息，數(shù)據(jù)包頭部信息，服務(wù)端口號(hào)等，但是隨著動(dòng)態(tài)端口，加密，網(wǎng)絡(luò)代理，多重封裝等技術(shù)，例如

2、，一些網(wǎng)絡(luò)惡意攻擊行為經(jīng)常采用web默認(rèn)80端口進(jìn)行通信，因此傳統(tǒng)分類方法受到很大挑戰(zhàn)，因此采用機(jī)器學(xué)習(xí)方法進(jìn)行網(wǎng)絡(luò)流量分類成為研究熱點(diǎn)，根據(jù)網(wǎng)絡(luò)流屬性的統(tǒng)計(jì)特征，建立分類模型，可以有效規(guī)避上述問(wèn)題，取得了很好的分類效果，受到學(xué)術(shù)界廣泛關(guān)注。相關(guān)工作相關(guān)工作目前，已經(jīng)有大量的機(jī)器學(xué)習(xí)算法被應(yīng)用于網(wǎng)絡(luò)流量分類，其中有代表性的學(xué)習(xí)算法有：樸樹貝葉斯（NB），貝葉斯神經(jīng)網(wǎng)絡(luò)（BNN），C4.5算法，支持向量機(jī)（SVM）等，通過(guò)對(duì)網(wǎng)絡(luò)流量的屬性

3、特征進(jìn)行統(tǒng)計(jì)，運(yùn)用機(jī)器學(xué)習(xí)算法建立分類模型，可以對(duì)未知流量進(jìn)行分類或預(yù)測(cè)。近期的相關(guān)研究工作的貢獻(xiàn)如下:2005年，劍橋大學(xué)的Moe[1]等人提出基于概率模型的樸素貝葉斯方法，該方法利用先驗(yàn)概率和樣本數(shù)據(jù)信息，計(jì)算出最大的后驗(yàn)概率值，從而得出樣本類型，該方法具有較高的分類精度，建模開銷小的特點(diǎn)。但是該方法要求參與分類的各項(xiàng)屬性條件獨(dú)立而且遵循高斯分布然而在流量分類問(wèn)題中原始的網(wǎng)絡(luò)流屬性集合很難滿足上述條件，因此該方法的實(shí)際應(yīng)用受到極大限

4、制。Panchenko[2]等人采用包括總傳輸?shù)淖止?jié)數(shù)、總傳輸數(shù)據(jù)包個(gè)數(shù)、每個(gè)方向數(shù)據(jù)包比例、html文件的大小、及數(shù)據(jù)包的大小等特征作為候選屬性集，利用SVM(支持向量機(jī))算法進(jìn)行分類，在樣本總類512以下，有載荷加密，數(shù)據(jù)包填充，網(wǎng)絡(luò)代理等防御措施下，分類精度可以達(dá)到80%，然而該方法只針對(duì)網(wǎng)頁(yè)應(yīng)用進(jìn)行類型識(shí)別。KevinP.Dyer[3]等人提出利用一條數(shù)據(jù)流的總傳輸時(shí)間、每個(gè)方向的帶寬總消耗、burstsbwith等粗粒度信息作

5、為特征集而不考慮每個(gè)數(shù)據(jù)包信息（大小及方向）之類的細(xì)粒度特征，這樣可以有效降低數(shù)據(jù)包填充等防御措施對(duì)分類精度的影響，該方法取得了與Panchenko等人相似的精度。國(guó)內(nèi)方面，國(guó)防科學(xué)技術(shù)大學(xué)的王銳等人率先將支持向量SVM(supptvectmachine)方法應(yīng)用到P2P流的識(shí)別領(lǐng)域.他們利用網(wǎng)絡(luò)連接數(shù)相關(guān)的統(tǒng)計(jì)屬性將網(wǎng)絡(luò)流簡(jiǎn)單劃分為P2P流和非P2P流然而他們所用的統(tǒng)計(jì)屬性依賴于應(yīng)用的連接模式因此該方法與基于傳輸層行為的流量識(shí)別方法相

6、似分類結(jié)果的穩(wěn)定性極易受到網(wǎng)絡(luò)環(huán)境的影響。本文研究的目的在于找到一種能夠檢測(cè)惡意網(wǎng)絡(luò)行為的數(shù)據(jù)流量，提出了一種在現(xiàn)有的傳統(tǒng)分類模型的基礎(chǔ)下，采用基于決策樹算法的分類模型對(duì)流量進(jìn)一步進(jìn)行判別來(lái)檢測(cè)出異常流量的兩層結(jié)構(gòu)。3.3決策樹算法3.4分類器模型4實(shí)驗(yàn)驗(yàn)證4.1實(shí)驗(yàn)平臺(tái)及分析工具本文所使用的數(shù)據(jù)挖掘工具是Weka3.5.6[17].該工具是由新西蘭懷卡托大學(xué)Witten教授等人開發(fā)的開源工作平臺(tái).該平臺(tái)利用Java語(yǔ)言實(shí)現(xiàn)了決策樹、樸