基于粗糙集和神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類技術(shù)研究.pdf

1、隨著信息技術(shù)和數(shù)據(jù)庫技術(shù)的飛速發(fā)展，人們可以非常容易地獲取和存儲海量數(shù)據(jù)，然而要從海量數(shù)據(jù)中提取出有用信息卻很困難。數(shù)據(jù)分類作為一種重要的數(shù)據(jù)分析技術(shù)，可以用于提取描述重要數(shù)據(jù)類的模型和預(yù)測未來的數(shù)據(jù)趨勢，幫助人們擺脫“數(shù)據(jù)豐富，知識貧乏”的困境。入侵檢測和文本分類都屬于數(shù)據(jù)分類的范疇，入侵檢測是根據(jù)網(wǎng)絡(luò)數(shù)據(jù)或主機數(shù)據(jù)的特征來判別該數(shù)據(jù)代表的行為屬于哪種類型，而文本分類是根據(jù)文檔特征識別出其所屬的文檔類別。 粗糙集理論是一種處理

2、不精確、不完整和不確定性問題的數(shù)學(xué)工具，通過屬性約簡能有效地消除冗余信息，抽取分類規(guī)則；而神經(jīng)網(wǎng)絡(luò)也由于具有分類精度高，魯棒性強等顯著優(yōu)點。因此，近年來它們都被廣泛地應(yīng)用于數(shù)據(jù)分類。但是，面對大規(guī)模的高維數(shù)據(jù)分類問題如入侵檢測和文本分類等，基于粗糙集的分類容錯性差、泛化能力弱；而神經(jīng)網(wǎng)絡(luò)作為分類器存在網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜、訓(xùn)練時間過長等缺陷。如何將粗糙集和神經(jīng)網(wǎng)絡(luò)有機地結(jié)合起來，并針對入侵檢測和文本分類各自的領(lǐng)域特點進行有效地運用是本文的研究內(nèi)

3、容。 針對入侵檢測數(shù)據(jù)存在維數(shù)大、冗余度高及噪聲數(shù)據(jù)多等缺陷，給出了一種基于粗糙集和神經(jīng)網(wǎng)絡(luò)的層次入侵檢測模型。該模型用粗糙集對數(shù)據(jù)進行預(yù)處理以降低維度，以多個神經(jīng)網(wǎng)絡(luò)構(gòu)成的層次分類器克服單個神經(jīng)網(wǎng)絡(luò)分類器的“穩(wěn)定性/可塑性”二難問題。針對文本分類中的兩個關(guān)鍵技術(shù)——權(quán)值計算和特征提取，給出在文本預(yù)處理階段基于特征詞類別分布差異進行特征過濾，并引入類別文檔頻數(shù)改進TFIDF公式，給出了一種基于可變精度粗糙理論的特征選擇方法，進一