一種基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)技術(shù)在帶給人們大量信息的同時(shí)，也極大地增加了人們從海量數(shù)據(jù)中發(fā)現(xiàn)有用知識(shí)的難度，而解決這一問題的努力促進(jìn)了數(shù)據(jù)挖掘技術(shù)的出現(xiàn)和快速發(fā)展。目前，數(shù)據(jù)挖掘技術(shù)已在金融、醫(yī)療、軍事、管理等諸多領(lǐng)域的決策分析方面被廣泛應(yīng)用。 云計(jì)算是能提供動(dòng)態(tài)資源池、虛擬化和高可用性的計(jì)算平臺(tái)。云計(jì)算開發(fā)平臺(tái)可被用來開發(fā)高性能應(yīng)用程序，但數(shù)據(jù)本身具有噪聲、異構(gòu)等問題，而現(xiàn)有的云計(jì)算開發(fā)平臺(tái)當(dāng)前還沒有數(shù)據(jù)規(guī)約功能，利用云計(jì)算進(jìn)行數(shù)據(jù)挖掘的解決方案尚未

2、被提出。針對(duì)上述問題，首先，擴(kuò)展Google App Engine開發(fā)平臺(tái)，設(shè)計(jì)與實(shí)現(xiàn)其數(shù)據(jù)規(guī)約功能，主要解決異構(gòu)數(shù)據(jù)訪問問題與未存在數(shù)據(jù)類型訪問問題；然后，在擴(kuò)展的Google App Engine開發(fā)平臺(tái)基礎(chǔ)上設(shè)計(jì)與實(shí)現(xiàn)一數(shù)據(jù)挖掘系統(tǒng)，通過實(shí)驗(yàn)驗(yàn)證數(shù)據(jù)規(guī)約功能的有效性及云計(jì)算平臺(tái)執(zhí)行數(shù)據(jù)挖掘操作的高效性。 在數(shù)據(jù)規(guī)約模塊設(shè)計(jì)過程中，通過采用可被擴(kuò)展的元數(shù)據(jù)定義、數(shù)據(jù)集模板定義及數(shù)據(jù)集定義逐層抽象數(shù)據(jù)集的數(shù)據(jù)類型、數(shù)據(jù)結(jié)構(gòu)、訪

3、問地址等信息，實(shí)現(xiàn)對(duì)異構(gòu)數(shù)據(jù)集的抽象以及對(duì)未有數(shù)據(jù)類型的訪問。在基于云計(jì)算的數(shù)據(jù)挖掘系統(tǒng)設(shè)計(jì)過程中，基于分層設(shè)計(jì)的思想，將該平臺(tái)的層次自底向上劃分為：算法層、任務(wù)層和用戶層，其中，底層透明的為其上層提供服務(wù)，上層通過層間開放接口調(diào)用下層服務(wù)，使得層與層之間的功能相對(duì)獨(dú)立，易于系統(tǒng)的二次開發(fā)。同時(shí)各層接口均以REST接口方式對(duì)外開放，可被開發(fā)者嵌入到其應(yīng)用程序中。在算法層設(shè)計(jì)過程中設(shè)計(jì)了多層插件框架結(jié)構(gòu)，增加了算法實(shí)現(xiàn)與維護(hù)的靈活性。