基于F-粗糙集的屬性約簡與數(shù)據(jù)流挖掘的研究.pdf

1、在社會生產(chǎn)和生活實踐中，人們面對的數(shù)據(jù)規(guī)模往往是巨大的，甚至是無限的。數(shù)據(jù)挖掘技術(shù)的出現(xiàn)很好地解決了人們通過不精確的、模糊的數(shù)據(jù)發(fā)現(xiàn)潛在的、有價值的信息的問題。但是，隨著計算機(jī)網(wǎng)絡(luò)技術(shù)，特別是數(shù)據(jù)收集及數(shù)據(jù)存儲技術(shù)的提高，人們面對的數(shù)據(jù)不僅僅數(shù)量規(guī)模巨大，而且往往隨著時間的推移而發(fā)生變化，從而引發(fā)概念漂移現(xiàn)象。有效的概念漂移探測方法可以幫助人們解決數(shù)據(jù)流挖掘過程中的不確定性問題。
　　粗糙集理論是一種能夠有效處理不精確、不一致、不

2、完備信息與知識的新型數(shù)據(jù)分析工具，F(xiàn)-粗糙集理論是關(guān)于信息系統(tǒng)簇或決策系統(tǒng)簇的粗糙集模型，是Pawlak粗糙集理論的擴(kuò)展，不僅適合研究并行計算，而且適合研究事物的動態(tài)變化。
　　粗糙集理論與屬性約簡是研究不確定性問題最常用的方法之一。粗糙集與F-粗糙集屬性約簡是在保持決策系統(tǒng)分類能力不發(fā)生變化的前提下，刪除其中不相關(guān)或不重要的條件屬性，以達(dá)到約簡條件屬性的目的。
　　現(xiàn)有的各種粗糙集屬性約簡方法幾乎都是保持某種約簡準(zhǔn)則不發(fā)生

3、變化，在這樣的條件下，屬性約簡方法在處理一些存在異常點的數(shù)據(jù)時，往往存在泛化能力弱，分類準(zhǔn)確率低等問題;概念漂移常用的探測方法有分類準(zhǔn)確率、聯(lián)合概率分布以及屬性約簡等，這些方法可以有效地進(jìn)行概念漂移探測，并得到了廣泛的應(yīng)用。但是，這些方法在實際應(yīng)用中存在著一些弊端。例如，分類準(zhǔn)確率依賴實驗或?qū)嶋H應(yīng)用，能夠從總體上把握概念漂移，但是，對于同一訓(xùn)練集得到的分類器，對于同一測試集，如果特征選擇不同，則實驗結(jié)果也可能不同。本文提出基于粗糙集理論

4、提出可變正區(qū)域約簡和基于F-粗糙集的屬性依賴度和條件信息熵探測概念漂移的方法。可變正區(qū)域約簡允許正區(qū)域發(fā)生一定程度的變化，能有效地將對正區(qū)域影響小的屬性約簡掉，對異常點檢測、提高屬性約簡的分類泛化能力等具有一定的潛力和幫助;基于F-粗糙集的屬性依賴度和條件信息熵探測概念漂移，屬性依賴度和條件信息熵具有聯(lián)合概率分布可進(jìn)行理論分析的優(yōu)點，又具有分類準(zhǔn)確率可進(jìn)行實驗分析的優(yōu)點。具體研究內(nèi)容如下:
　　1.提出基于粗糙集的可變正區(qū)域約簡。

5、該方法在屬性約簡時允許正區(qū)域發(fā)生一定程度的變化，從而約簡掉給泛化能力造成一定困難的少部分屬性，提高分類泛化能力和分類準(zhǔn)確率。
　　2.對照粗糙屬性約簡準(zhǔn)則，分析了概念漂移探測準(zhǔn)則的一些缺點和不足，聯(lián)合概率分布準(zhǔn)則具有較強(qiáng)的數(shù)學(xué)理論基礎(chǔ)，適用于理論分析，但是，該標(biāo)準(zhǔn)局限于某些概念，缺乏靈活性;分類準(zhǔn)確率準(zhǔn)則依賴于實驗或?qū)嶋H應(yīng)用，能夠從整體上把握概念漂移。但是，對于同一訓(xùn)練集得到的分類器，對于同一測試集，如果特征選擇不同，則實驗結(jié)果可

6、能不同。
　　3.提出基于屬性依賴度和條件信息熵的概念漂移探測準(zhǔn)則。從概念漂移的角度研究粗糙集理論的屬性約簡，從粗糙集理論屬性約簡的角度研究概念漂移;將概念漂移和屬性約簡進(jìn)行分析比較，探究屬性約簡和概念漂移在不確定問題上固有的本質(zhì)聯(lián)系。
　　4.實驗驗證了基于屬性依賴度和條件信息熵的概念漂移探測準(zhǔn)則的有效性。實驗對比分析兩種常用的概念漂移準(zhǔn)則（即分類準(zhǔn)確率和聯(lián)合概率分布）與基于屬性依賴度、條件信息熵概念漂移探測準(zhǔn)則的區(qū)別與聯(lián)