基于半監(jiān)督學(xué)習(xí)的分布式在線流量識別研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)規(guī)模逐漸增大并涌現(xiàn)出各種新的網(wǎng)絡(luò)應(yīng)用（如P2P、IPTV等）。這些新型流量的急速增長一方面造成嚴(yán)重的帶寬負(fù)擔(dān)，加劇網(wǎng)絡(luò)的擁塞狀況;另一方面惡意流量也頻繁出現(xiàn)在互聯(lián)網(wǎng)上，不僅加快帶寬的消耗而且對網(wǎng)絡(luò)安全也提出很大的挑戰(zhàn)。網(wǎng)絡(luò)應(yīng)用的增加，導(dǎo)致網(wǎng)絡(luò)速率不斷增長，網(wǎng)絡(luò)節(jié)點(diǎn)處的網(wǎng)絡(luò)管理設(shè)備面臨越來越大的壓力。如何通過有效的技術(shù)手段實(shí)時(shí)識別和監(jiān)測流量，從而管理和控制各種惡意流量，提供合理的帶寬資源和服務(wù)，成為當(dāng)前網(wǎng)絡(luò)管

2、理面臨的重要難題之一。
　　 網(wǎng)絡(luò)流量分類正是解決上述難題的基礎(chǔ)，尤其是基于半監(jiān)督學(xué)習(xí)的分類方法，不僅能夠利用少量標(biāo)簽數(shù)據(jù)促進(jìn)分類系統(tǒng)的性能，而且具有發(fā)現(xiàn)新的模式的功能成為當(dāng)前流量分類領(lǐng)域研究的熱點(diǎn)。鑒于網(wǎng)絡(luò)流量本身天然的地域性、時(shí)域性，本文將分布式的理念和技術(shù)引入在線流量分類中，將分類任務(wù)分散到不同的節(jié)點(diǎn)上，由中心節(jié)點(diǎn)管理并協(xié)調(diào)各個(gè)子節(jié)點(diǎn)分類并提供對子節(jié)點(diǎn)分類結(jié)果的驗(yàn)證。
　　 首先，本文針對大多數(shù)基于有監(jiān)督機(jī)器學(xué)習(xí)的

3、分類器過度依賴于有標(biāo)簽數(shù)據(jù)問題，提出了基于k均值算法的半監(jiān)督聚類算法Semi-kmeans進(jìn)行流量分類的研究。該算法使用具有準(zhǔn)確應(yīng)用類型的流量樣本作為初始聚類中心，不僅能夠有效的識別應(yīng)用類型，而且具有發(fā)現(xiàn)新型網(wǎng)絡(luò)應(yīng)用的功能。
　　 其次，由于互聯(lián)網(wǎng)應(yīng)用行為的實(shí)時(shí)、多變、易逝等特征，使得對網(wǎng)絡(luò)流量的在線識別方法更具研究意義。本文研究的在線網(wǎng)絡(luò)流量分類模型，專門針對網(wǎng)絡(luò)流量的實(shí)時(shí)分類而設(shè)計(jì)。采用離線訓(xùn)練和在線分類相互配合的方法進(jìn)行實(shí)