決策樹(shù)分類算法的可擴(kuò)展性與并行性研究及在網(wǎng)絡(luò)入侵檢測(cè)中的應(yīng)用.pdf

1、近十年來(lái),數(shù)據(jù)庫(kù)規(guī)模日益擴(kuò)大,數(shù)據(jù)量大的可達(dá)數(shù)GB甚至TB級(jí),這些數(shù)據(jù)中包含了大量有價(jià)值的信息.怎樣才能發(fā)現(xiàn)其中潛在的知識(shí),從而充分利用各種各樣的信息為人類服務(wù)已顯得越來(lái)越重要.由此需求產(chǎn)生了一門新興的知識(shí)發(fā)現(xiàn)技術(shù)—數(shù)據(jù)挖掘.目前數(shù)據(jù)挖掘技術(shù)已經(jīng)成為計(jì)算機(jī)界新的研究熱點(diǎn)之一.在數(shù)據(jù)挖掘眾多的研究分支中,分類和預(yù)測(cè)問(wèn)題一直是一個(gè)十分引人注目的重要分支,其中決策樹(shù)方法又是最為典型的方法.目前已有的許多決策樹(shù)方法都是串行的內(nèi)存駐留算法,它們不

2、能充分發(fā)揮高性能計(jì)算的優(yōu)點(diǎn).隨著數(shù)據(jù)庫(kù)中數(shù)據(jù)量越來(lái)越大,建立高效的、適用于大型數(shù)據(jù)庫(kù)的并行決策樹(shù)算法已成為數(shù)據(jù)挖掘中一個(gè)挑戰(zhàn)性問(wèn)題.本文在歸納總結(jié)一般決策樹(shù)分類挖掘算法的基礎(chǔ)上,對(duì)它的并行性和可擴(kuò)展性進(jìn)行了深入研究,提出了一種基于縱向劃分?jǐn)?shù)據(jù)集的并行決策樹(shù)分類算法,同時(shí)給出了它在集群計(jì)算機(jī)系統(tǒng)上的實(shí)現(xiàn),文章最后還討論了該算法在具體領(lǐng)域中的應(yīng)用.具體而言,主要有以下幾方面內(nèi)容:首先,為了處理大規(guī)模數(shù)據(jù)集,對(duì)決策樹(shù)方法的可擴(kuò)展性展開(kāi)討論,提

3、出了幾種用來(lái)提高算法可擴(kuò)展性的方法;同時(shí),為了提高算法的效率以進(jìn)行實(shí)時(shí)的決策支持,對(duì)決策樹(shù)分類方法的并行性進(jìn)行研究,分析比較了決策樹(shù)方法的各種并行策略,指出各種策略的優(yōu)劣所在.其次,提出了一種快速可擴(kuò)展的決策樹(shù)分類算法FSPC(A Fast Scalable Parallel Classification Algorithm).它采用縱向劃分?jǐn)?shù)據(jù)集策略,同時(shí)利用哈希表結(jié)構(gòu)使得在測(cè)試屬性的選擇過(guò)程中同步劃分?jǐn)?shù)據(jù)集.實(shí)驗(yàn)結(jié)果表明:一方面,它

4、可以大大提高算法的可伸縮性;另一方面,它不僅有利于減少進(jìn)行I/O以及通信的開(kāi)銷,而且有利于提高算法的并行度,從而提高算法挖掘知識(shí)的效率.再次,闡述了并行數(shù)據(jù)挖掘原型系統(tǒng)PDM(a Parallel Data Mining platform)的結(jié)構(gòu)和功能,實(shí)現(xiàn)了基于FSPC算法的并行決策樹(shù)分類器,介紹了用FSPC分類器進(jìn)行并行數(shù)據(jù)挖掘的一般過(guò)程.另外,對(duì)于所產(chǎn)生的決策樹(shù)實(shí)現(xiàn)了可視化.最后,介紹了FSPC分類器在網(wǎng)絡(luò)入侵檢測(cè)中的應(yīng)用.該應(yīng)用