DM2平臺(tái)的擴(kuò)展及其在鐵路貨票數(shù)據(jù)上的挖掘應(yīng)用研究.pdf

1、數(shù)據(jù)庫技術(shù)從20世紀(jì)80年代初開始，就得到了廣泛的普及和應(yīng)用。伴隨著近年來數(shù)據(jù)量的急劇增長(zhǎng)，以及數(shù)據(jù)倉庫和Web等新型數(shù)據(jù)源的日益普及，人們面臨的主要問題不再是缺乏足夠可以使用的信息，而是如何將這些海量的數(shù)據(jù)有效地利用起來。面對(duì)這一挑戰(zhàn)，數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生，并在各行各業(yè)得到了廣泛應(yīng)用。而關(guān)聯(lián)規(guī)則是數(shù)據(jù)挖掘中最活躍的研究方向之一。 DM2平臺(tái)是一款由我們?cè)O(shè)計(jì)并正在開發(fā)的數(shù)據(jù)挖掘平臺(tái)。目前，DM2平臺(tái)已開發(fā)了用于實(shí)例分類和關(guān)聯(lián)規(guī)則

2、挖掘的功能組件，并實(shí)現(xiàn)了ID3、Naive Bayes、FP-Growth、CLOSET等數(shù)據(jù)挖掘算法。但為了滿足不同數(shù)據(jù)挖掘項(xiàng)目的需求，DM2還有很多有待于完善和擴(kuò)展之處：首先，DM2平臺(tái)與數(shù)據(jù)庫的交互能力還有待增強(qiáng)；其次，DM2平臺(tái)所實(shí)現(xiàn)的算法還很有限，而算法恰恰是一個(gè)數(shù)據(jù)挖掘系統(tǒng)的精髓，因此，豐富DM2平臺(tái)的數(shù)據(jù)挖掘算法是當(dāng)務(wù)之急；再者，DM2平臺(tái)還不具備以界面的方式與用戶交互的功能。本文針對(duì)這些問題，從豐富算法庫以及如何實(shí)現(xiàn)用戶

3、界面等方面對(duì)DM2平臺(tái)進(jìn)行了擴(kuò)展。 首先，本文豐富了DM2平臺(tái)的數(shù)據(jù)挖掘算法，在DM2平臺(tái)上，實(shí)現(xiàn)了經(jīng)典的Apriori算法，還針對(duì)海量數(shù)據(jù)提出并實(shí)現(xiàn)了一種改進(jìn)的Apriori算法，該算法采用線性存儲(chǔ)結(jié)構(gòu)與垂直數(shù)據(jù)結(jié)構(gòu)數(shù)掘庫相結(jié)合的方式，從一定程度上解決了經(jīng)典Apriori算法的瓶頸問題，改善了DM2平臺(tái)的性能。 其次，本文進(jìn)一步加強(qiáng)了DM2數(shù)據(jù)挖掘平臺(tái)與數(shù)據(jù)庫的交互能力。實(shí)現(xiàn)了規(guī)則集到數(shù)據(jù)庫的存儲(chǔ)，使DM2平臺(tái)能夠?qū)σ?guī)

4、則進(jìn)行過濾、排序、分組等操作。 最后，本文實(shí)現(xiàn)了DM2平臺(tái)數(shù)據(jù)挖掘的用戶界面。采用基于瀏覽器的技術(shù)和JSP技術(shù)實(shí)現(xiàn)用戶與DM2平臺(tái)的動(dòng)態(tài)交互操作，并直觀得到挖掘結(jié)果。 擴(kuò)展后的DM2平臺(tái)具有極強(qiáng)的處理大數(shù)據(jù)集的能力，優(yōu)異的與數(shù)據(jù)庫交互的能力，人性化的可視化數(shù)據(jù)挖掘界面。 本文以2004年鄭州鐵路局鐵路貨票數(shù)據(jù)記錄樣本為實(shí)驗(yàn)數(shù)據(jù)，基于擴(kuò)展后的DM2平臺(tái)建立了鐵路貨票數(shù)據(jù)挖掘系統(tǒng)，實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠挖掘出確實(shí)有