基于ROUSTIDA算法的不完整數(shù)據(jù)處理分析與實(shí)現(xiàn).pdf

1、隨著數(shù)據(jù)庫和數(shù)據(jù)倉庫的深入應(yīng)用，各公司都有一套獨(dú)特且雜亂的數(shù)據(jù)。這些數(shù)據(jù)多為歷史數(shù)據(jù)，實(shí)時(shí)數(shù)據(jù)壽命短而且通常不作分析用，因此對這些歷史數(shù)據(jù)的分析和處理顯得愈發(fā)重要。而數(shù)據(jù)挖掘技術(shù)的引入，使得這樣的分析處理能為公司提供重要決策指導(dǎo)，甚至是為企業(yè)創(chuàng)收。其中，有關(guān)如何補(bǔ)全不完備信息系統(tǒng)的缺失數(shù)據(jù)成為近年來的研究熱門問題。這些問題包括缺失數(shù)據(jù)的去留問題、遺失值的補(bǔ)全問題以及使用何種算法補(bǔ)全等。而本系統(tǒng)正是基于此背景開發(fā)。
　　數(shù)據(jù)補(bǔ)全處理

2、，也即填補(bǔ)遺失值的方法，有平均值法、最大頻率法和不完備數(shù)據(jù)分析方法(ROUSTIDA)等。首先不考慮直接刪除缺失數(shù)據(jù)條的情況，沒有研究實(shí)現(xiàn)的意義。在眾多補(bǔ)遺方法中，ROUS-TIDA算法是基于粗糙集理論（基于二維表的知識表達(dá)，用以體現(xiàn)信息決策世界）的一種算法，用于實(shí)施填補(bǔ)不完備信息系統(tǒng)中的遺失數(shù)據(jù)值。作為粗糙集理論中填補(bǔ)性能最好的算法，也是本系統(tǒng)主要研究的內(nèi)容，針對的是ROUSTIDA算法的實(shí)際應(yīng)用，用以實(shí)現(xiàn)對不完備系統(tǒng)的數(shù)據(jù)填補(bǔ)，同時(shí)

3、根據(jù)其時(shí)間復(fù)雜度高的缺點(diǎn)，完成了對ROUS-TIDA算法的改進(jìn)，大幅降低時(shí)間復(fù)雜度，并保證原來算法的正確功能，從而達(dá)到了現(xiàn)有對數(shù)據(jù)補(bǔ)全的最佳性能。本系統(tǒng)實(shí)現(xiàn)的主要功能就是把讀入的、符合粗糙集理論和ROUSTIDA算法要求的數(shù)據(jù)不完備信息系統(tǒng)，交由ROUSTIDA算法和改進(jìn)的ROUSTIDA算法進(jìn)行處理，分析比較二者優(yōu)劣，最后把補(bǔ)全的完備信息表重新輸出。
　　本系統(tǒng)對于實(shí)際應(yīng)用方面的價(jià)值就體現(xiàn)在，對于企業(yè)有決策意義的數(shù)據(jù)進(jìn)行整理，找

4、到?jīng)Q策屬性后，即可將數(shù)據(jù)表中缺失的數(shù)據(jù)按照算法補(bǔ)齊，這樣保證了公司數(shù)據(jù)庫的完整性，同時(shí)為以后的研究提供標(biāo)準(zhǔn)的完備數(shù)據(jù)。本系統(tǒng)最大的特色在于利用最新、最穩(wěn)定的數(shù)據(jù)填補(bǔ)算法，自主實(shí)現(xiàn)了針對EXCEL文件輸入數(shù)據(jù)進(jìn)行遺失值填補(bǔ)，分析比較了兩種算法，對研究和應(yīng)用都有指導(dǎo)意義。
　　本文首先介紹了相關(guān)技術(shù)（粗糙集理論的基本概念、ROUSTIDA算法以及改進(jìn)的ROUSTIDA算法的描述分析）。隨后對系統(tǒng)進(jìn)行各方面的系統(tǒng)分析、包括整體可行性研究

5、、功能性能方面的需求分析和開發(fā)環(huán)境的介紹，并在此基礎(chǔ)上進(jìn)行系統(tǒng)設(shè)計(jì)（包括系統(tǒng)框架流程、UML類圖和功能結(jié)構(gòu)的概要設(shè)計(jì)以及各模塊的詳細(xì)設(shè)計(jì)）。緊接著就進(jìn)行最底端的系統(tǒng)實(shí)現(xiàn)（每個(gè)模塊的實(shí)現(xiàn)）、主要模塊測試(ROUS-TIDA及改進(jìn)算法測試過程和分析)和實(shí)施系統(tǒng)部署（軟硬件環(huán)境的搭建、數(shù)據(jù)源的設(shè)置）。最后本文對本系統(tǒng)進(jìn)行了一個(gè)總結(jié)與展望，總結(jié)了項(xiàng)目的創(chuàng)新點(diǎn)和開發(fā)過程中的心得經(jīng)驗(yàn)，展望了系統(tǒng)的優(yōu)缺點(diǎn)（新技術(shù)優(yōu)勢和代碼優(yōu)化問題），以指導(dǎo)今后工作。