粗糙集理論在數(shù)據(jù)約簡(jiǎn)中的應(yīng)用研究.pdf

1、數(shù)據(jù)挖掘面對(duì)的是大規(guī)模、超大規(guī)模的數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù),日益增長(zhǎng)的海量數(shù)據(jù),給數(shù)據(jù)挖掘提出了新的挑戰(zhàn).隨著數(shù)據(jù)挖掘技術(shù)研究的深入與成熟,在挖掘過(guò)程中挖掘算法的效率提高越來(lái)越不明顯,但是數(shù)據(jù)挖掘的預(yù)處理工作仍然沒(méi)有明顯的提高.于是數(shù)據(jù)預(yù)處理工作就顯得越來(lái)越重要. 數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清理、數(shù)據(jù)集成和變換、數(shù)據(jù)約簡(jiǎn)等操作把原始的數(shù)據(jù)庫(kù)或者數(shù)據(jù)倉(cāng)庫(kù)變換成適合挖掘的模式,為進(jìn)一步的數(shù)據(jù)挖掘做準(zhǔn)備.已有一些比較成熟的數(shù)據(jù)預(yù)處理技術(shù),但面對(duì)日益增

2、長(zhǎng)的海量數(shù)據(jù)和日趨復(fù)雜的數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)預(yù)處理還有很多工作要做. 粗糙理論是用來(lái)處理模糊和不確定性知識(shí)的數(shù)學(xué)工具,是一種有效的軟計(jì)算方法.其主要思想是在保持分類能力不變的前提下,通過(guò)知識(shí)約簡(jiǎn),導(dǎo)出問(wèn)題的決策或分類規(guī)則,利用區(qū)分矩陣可以方便地求出數(shù)據(jù)約簡(jiǎn).面對(duì)大數(shù)據(jù)集、或復(fù)雜的數(shù)據(jù)結(jié)構(gòu);人們又提出了區(qū)分矩陣的改進(jìn)算法,以及和其他學(xué)科相結(jié)合的算法,來(lái)提高數(shù)據(jù)預(yù)處理的效率. 屬性約簡(jiǎn)是數(shù)據(jù)預(yù)處理的一個(gè)重要環(huán)節(jié),已經(jīng)證明求所有屬性的

3、最小約簡(jiǎn)是一個(gè) NP 完全問(wèn)題,所以,研究也只能從提高求約簡(jiǎn)的效率上來(lái)著手.本文從基本的粗糙集理論、數(shù)據(jù)預(yù)處理的基本知識(shí)入手,詳細(xì)介紹了粗糙集約簡(jiǎn)的基本算法、一種改進(jìn)的算法,Jelonek 提出的基于屬性重要性的算法,Hu 提出的基于頻率函數(shù)的算法;以及與遺傳算法相結(jié)合的算法、粗糙集約簡(jiǎn)的一種貪心算法,這些算法都在一定程度上改進(jìn)了基本的基于區(qū)分矩陣的屬性約簡(jiǎn)算法,也都有其適應(yīng)的特定環(huán)境,合理地運(yùn)用能夠有效地對(duì)數(shù)據(jù)進(jìn)行處理,進(jìn)而提高數(shù)據(jù)挖