基于MDA的數(shù)據(jù)分析過程研究.pdf

1、當(dāng)今時(shí)代隨著計(jì)算機(jī)技術(shù)的高速發(fā)展,管理信息系統(tǒng)開始普及,各行各業(yè)都逐漸建立起自己的管理信息系統(tǒng)。這些系統(tǒng)運(yùn)行一段時(shí)間之后,會(huì)形成大量的歷史數(shù)據(jù),但是這些系統(tǒng)不具備對(duì)數(shù)據(jù)進(jìn)行分析的能力,海量數(shù)據(jù)就不會(huì)被充分利用,數(shù)據(jù)中隱含的大量信息也不能被挖掘出來,沒法對(duì)人們提供決策支持的功能。因此人們開始想辦法挖掘隱含在這些數(shù)據(jù)背后的有用信息。在這種情況下,數(shù)據(jù)分析技術(shù)應(yīng)運(yùn)而生。
　　 目前對(duì)數(shù)據(jù)分析的研究已經(jīng)有很多,但是研究的目標(biāo)主要集中在商

2、業(yè)領(lǐng)域,且數(shù)據(jù)分析的落腳點(diǎn)是財(cái)務(wù)數(shù)據(jù)。對(duì)于教育行業(yè)這樣一個(gè)非盈利性行業(yè),面臨經(jīng)費(fèi)不足、技術(shù)人員匱乏的困難,再加上與商業(yè)領(lǐng)域之間的行業(yè)差異,目前的數(shù)據(jù)分析工具或方法以及數(shù)據(jù)分析過程中的細(xì)節(jié)顯然不能完全適用于教育行業(yè),必須要根據(jù)這個(gè)行業(yè)本身的特點(diǎn)摸索新的數(shù)據(jù)分析過程。高成本、太復(fù)雜的方式顯然不適合教育行業(yè),要滿足它特有的需求,就需要挖掘新的方法,因此數(shù)據(jù)分析技術(shù)面臨新的問題和挑戰(zhàn)。
　　 本文的主要研究內(nèi)容和工作主要有以下幾個(gè)方面:

3、首先建立數(shù)據(jù)模型,將從各個(gè)數(shù)據(jù)源得到的原始數(shù)據(jù)抽取出來,通過分析設(shè)計(jì)針對(duì)它們的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)操作和數(shù)據(jù)之間的約束,形成中間庫數(shù)據(jù)的數(shù)據(jù)模型；確定分析主題和分析角度之后,將它們之間的邏輯關(guān)系抽象出來,形成目標(biāo)數(shù)據(jù)端的數(shù)據(jù)模型。其次建立了結(jié)構(gòu)化數(shù)據(jù)的采集模型,將數(shù)據(jù)抽取-數(shù)據(jù)轉(zhuǎn)化-數(shù)據(jù)加載的流程抽取為平臺(tái)無關(guān)模型,其中的具體內(nèi)容和細(xì)節(jié)通過XML配置,克服了硬編碼的局限性,增強(qiáng)了數(shù)據(jù)采集的靈活性、可擴(kuò)展性和可移植性。再次采用了中間庫與文件相結(jié)

4、合的方式對(duì)數(shù)據(jù)進(jìn)行抽取,解決了異構(gòu)數(shù)據(jù)源的數(shù)據(jù)獲取問題；針對(duì)不同的情況定義不同的規(guī)則,采用規(guī)則引擎處理不同的空值情況；采用基于分組的相似重復(fù)記錄檢測方法,對(duì)不同的關(guān)鍵字定義不同的等級(jí),根據(jù)等級(jí)高低反復(fù)檢測來解決重復(fù)記錄檢測不準(zhǔn)確的問題。最后針對(duì)非結(jié)構(gòu)化數(shù)據(jù)中的主觀數(shù)據(jù)采集,提出了自動(dòng)調(diào)查問卷的設(shè)計(jì)方式,通過自動(dòng)生成調(diào)查問卷,在網(wǎng)上實(shí)時(shí)獲得調(diào)查結(jié)果,形成了主觀數(shù)據(jù)的采集模型,提高了數(shù)據(jù)分析的全面性和準(zhǔn)確性。
　　 本文針對(duì)教育行業(yè)