數(shù)據(jù)流特征選擇策略的研究.pdf

1、隨著信息技術(shù)尤其是網(wǎng)絡(luò)技術(shù)的發(fā)展，越來(lái)越多的應(yīng)用領(lǐng)域，如網(wǎng)絡(luò)監(jiān)控、垃圾郵件分類、傳感器網(wǎng)絡(luò)等，需要對(duì)其以每天數(shù)以百萬(wàn)Gbit增長(zhǎng)的流數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。由于流數(shù)據(jù)經(jīng)常呈現(xiàn)高維性，包含著大量無(wú)關(guān)特征和冗余特征，當(dāng)對(duì)其進(jìn)行直接處理時(shí)，有可能極大地影響學(xué)習(xí)算法的效率。利用屬性相關(guān)性進(jìn)行特征選擇，消除無(wú)關(guān)特征和冗余特征，可以提高挖掘算法的效率，改善精確性等學(xué)習(xí)性能。然而，數(shù)據(jù)流的實(shí)時(shí)性、無(wú)限性以及概念漂移特點(diǎn)，也對(duì)傳統(tǒng)的特征降維算法提出了嚴(yán)峻的挑

2、戰(zhàn)。針對(duì)數(shù)據(jù)流的這些特點(diǎn)，尋找適合于數(shù)據(jù)流的數(shù)據(jù)結(jié)構(gòu)，研究有效度量屬性相關(guān)性的方法對(duì)流數(shù)據(jù)進(jìn)行降維，這已經(jīng)成為目前數(shù)據(jù)流研究的一個(gè)熱點(diǎn)。
　　 首先，本文深入探討了特征選擇的相關(guān)技術(shù)，研究了現(xiàn)有的特征選擇方法在屬性相關(guān)性度量方面存在的不足，結(jié)合流數(shù)據(jù)實(shí)時(shí)性，無(wú)限性、概念漂移的特點(diǎn)，提出了一種基于擬合的數(shù)據(jù)流特征選擇算法FSCFFR，該算法可以有效地消除流數(shù)據(jù)中的冗余特征，提高了學(xué)習(xí)算法的性能。
　　 其次，本文針對(duì)數(shù)據(jù)流

3、實(shí)時(shí)性的要求，提出了采用并行計(jì)算進(jìn)行數(shù)據(jù)流特征選擇的實(shí)施策略，傳統(tǒng)的串行處理速度受限于單處理器的最大物理處理速度，而并行計(jì)算可以通過多處理器聯(lián)合在一定程度上克服這種處理瓶頸。本文采用管理者/工作者模型，并在MPI環(huán)境下設(shè)計(jì)實(shí)現(xiàn)了兩種通信策略的并行算法，實(shí)驗(yàn)表明，利用并行計(jì)算可以有效地提高流數(shù)據(jù)特征選擇的效率和速度。
　　 最后，為了驗(yàn)證特征選擇在實(shí)際應(yīng)用場(chǎng)景下的表現(xiàn)，本文將整個(gè)處理方法運(yùn)用到網(wǎng)絡(luò)入侵檢測(cè)中，對(duì)網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)中的