領(lǐng)域知識(shí)參與數(shù)據(jù)挖掘預(yù)處理階段的研究.pdf

1、眾所周知，數(shù)據(jù)庫中往往存在冗余數(shù)據(jù)、缺失數(shù)據(jù)、不確定數(shù)據(jù)和不一致數(shù)據(jù)等諸多情況，這些數(shù)據(jù)成了知識(shí)發(fā)現(xiàn)的一大障礙。因此，數(shù)據(jù)預(yù)處理就成為數(shù)據(jù)挖掘過程中非常重要的一環(huán)。如果將領(lǐng)域知識(shí)應(yīng)用于數(shù)據(jù)于處理當(dāng)中，可以有效地改善數(shù)據(jù)集的質(zhì)量，縮小數(shù)據(jù)集的樣本數(shù)量，從而提高數(shù)據(jù)挖掘的速度和質(zhì)量。 本論文針對(duì)應(yīng)用領(lǐng)域知識(shí)的數(shù)據(jù)預(yù)處理技術(shù)進(jìn)行了深入的理論和應(yīng)用研究，改進(jìn)了部分現(xiàn)有的數(shù)據(jù)預(yù)處理算法，并設(shè)計(jì)和實(shí)現(xiàn)了通用的應(yīng)用領(lǐng)域知識(shí)的數(shù)據(jù)預(yù)處理系統(tǒng)。主

2、要研究?jī)?nèi)容如下： 1、對(duì)數(shù)據(jù)預(yù)處理技術(shù)的概念和意義做了全面和詳細(xì)的描述，分析了數(shù)據(jù)預(yù)處理的各種主要方法，涉及數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約，并指出了現(xiàn)階段數(shù)據(jù)預(yù)處理存在的缺陷； 2、介紹了領(lǐng)域知識(shí)的概念和研究現(xiàn)狀，重點(diǎn)給出了領(lǐng)域知識(shí)在數(shù)據(jù)挖掘各個(gè)階段的重要意義和領(lǐng)域知識(shí)的表示方法； 3、重點(diǎn)研究了面向數(shù)據(jù)預(yù)處理技術(shù)的領(lǐng)域知識(shí)的分類和表示，將應(yīng)用于數(shù)據(jù)預(yù)處理的領(lǐng)域知識(shí)分為：范圍知識(shí)、層次知識(shí)、規(guī)則知識(shí)和數(shù)理

3、統(tǒng)計(jì)知識(shí)，依據(jù)此分類設(shè)計(jì)了領(lǐng)域知識(shí)的基于數(shù)據(jù)字典和XML文件的兩層存儲(chǔ)結(jié)構(gòu)和存儲(chǔ)方法，以及將領(lǐng)域知識(shí)應(yīng)用于數(shù)據(jù)預(yù)處理過程的通用算法； 4、著重研究了缺損數(shù)據(jù)處理和數(shù)據(jù)離散化兩種數(shù)據(jù)預(yù)處理方法，分析了基于聚類的缺損數(shù)據(jù)處理算法，使用量化相似關(guān)系模型改進(jìn)了ROtJSTIDA算法，從初始分割點(diǎn)、最大容忍區(qū)間和綜合考慮各屬性的分割點(diǎn)三個(gè)方面改進(jìn)了屬性類別差異數(shù)據(jù)離散化算法； 5、給出了所開發(fā)的應(yīng)用領(lǐng)域知識(shí)的數(shù)據(jù)挖掘系統(tǒng)的框架結(jié)構(gòu)