基于B-S框架的數據挖掘系統(tǒng)的設計與實現.pdf

1、隨著科學與經濟數據的爆炸性增長，分析這些數據并提取出有用的知識顯得尤為重要，這就導致一代新的工具和技術的產生，這些工具和技術歸結一起被稱為數據挖掘。在許多論文和文檔中，存在其他一些名詞，如數據庫知識挖掘，知識提取，數據分析等，它們的意思和數據挖掘差別微小?？茖W或企業(yè)的大量數據運用數據挖掘進行分析，能夠獲得數據的規(guī)律和趨勢。因此，數據挖掘日益得到人們的接受和認可。
　　 在許多不同的領域，包括數據庫系統(tǒng)，知識庫系統(tǒng)，人工智能，機器

2、學習，知識獲取、統(tǒng)計，空間數據庫和數據可視化，研究人員表現出了極大興趣。此外，一些新興的信息應用，如提供在線服務和萬維網服務，也要求各種數據挖掘技術，以便更好地了解客戶的行為，改善服務質量，從而增加商機。
　　 數據挖掘和術語KDD之間存在一些混淆，一般來說，這兩個名詞可以交替使用。我們用KDD來表示將低層次的數據轉換為高層次的知識的整個過程。KDD的一個簡單定義就是確定一個有效的、新穎的、具有潛在價值的、并且最終可理解的數據形

3、式的全過程。我們經常使用的數據挖掘的定義就是從可見的數據中提取數據模型。因此，數據挖掘就是KDD整個過程的其中一個步驟。
　　 數據挖掘產品正在席卷這個行業(yè)。數據庫主要廠商已經采取了行動，以確保他們的平臺含有數據挖掘技術。Oracle的數據挖掘套件(Darwin)采用了分類和回歸樹，神經網絡，回歸分析和聚類算法，微軟的SQL Server通過使用聚類算法，分類樹等來提供數據挖掘功能。還有一些其他的數據挖掘工具，如WEKA與MAT

4、LAB數據挖掘工具等。
　　 由于數據挖掘這一領域越來越受到重視，以及它的美好前景。我們創(chuàng)建了一個Browser/Server(B/S)數據挖掘系統(tǒng)，它允許客戶實現一些在線數的據挖掘操作。雖然該系統(tǒng)目的不是替代現有的數據挖掘工具，但是我們努力使它成為一個通用的數據挖掘平臺。我們用C＃、MATLAB和SQL server2005來實現該系統(tǒng)。
　　 為了達到預期的結果，我們的研究分三個步驟。第一步，我們對數據挖掘和數據分析

5、的背景進行了調研。第二步，查看了許多資料，詳細地了解了SQL server和MATLAB中的數據挖掘功能。第三步，在ASP.NET平臺上設計并實現了該(B/S)系統(tǒng)。
　　 在該系統(tǒng)的開發(fā)中，集成了兩個數據挖掘技術，分別為SQL在線分析技術和MATLAB引擎。該系統(tǒng)允許注冊用戶上傳一些Excel數據文件，并且進行一些數據分析操作。在該系統(tǒng)中每個用戶都擁有屬于自己的空間，進行一些數據分析操作，甚至是編寫MATLAB腳本來實現更復雜

6、的功能。默認情況下，該系統(tǒng)允許用戶執(zhí)行兩種算法：決策樹和K均值聚類。
　　 一方面，當用MATLAB作為該系統(tǒng)的工具時，用戶直接分析上傳的Excel數據文件，結果顯示并保存在Excel文件中；當用戶開發(fā)自己的MATLAB腳本時，MATLAB系統(tǒng)被調用，得到的結果返回到該系統(tǒng)中。另一方面，當用戶使用SQL分析服務時，數據集首先被作為SQL Server數據庫，用來創(chuàng)建數據挖掘所需要的數據模型，該模型作為訓練集，最后才使用數據挖掘對

7、該訓練集進行操作分析。
　　 為了提高系統(tǒng)的可維護性和可測試性，系統(tǒng)分為三個模塊。用戶管理模塊，它管理所有用戶的數據操作和空間管理；SQL server管理模塊，它實現了SQLserver分析服務所需要的所有數據挖掘功能模塊，以及保存了執(zhí)行后的結果；MATLAB管理模塊，實現了所有數據挖掘所需要的功能，并且管理MATLAB用戶腳本。
　　 該系統(tǒng)的許多方面考慮到后期的工作。在用戶界面旁邊提供了文件編輯的選擇功能，使系統(tǒng)支