基于決策樹的分類算法的并行化研究及應用.pdf

1、隨著社會各個領域計算機應用的普及,信息技術和網絡技術高度發(fā)展,產生的數據量日益增大.如何有效地管理、利用數據庫中數據,以及怎樣才能發(fā)現其中潛在的知識,這就需要有新的、更為有效的手段來對各種數據源整理并進行分析,發(fā)現新的知識以發(fā)揮這些數據的潛能.由此數據挖掘技術應運而生并得以迅猛發(fā)展. 數據挖掘,又稱為數據庫中的知識發(fā)現,就是從大量的、不完全的、有噪聲的、模糊的、隨機的數據中,提取隱含在其中的、人們事先不知道的、但又是潛在的有用的

2、信息和知識的過程.數據挖掘是一門新興的技術,它以數據庫技術作為基礎,把邏輯學、統(tǒng)計學、機器學習、模糊學、可視化計算等多門學科的成果綜合在一起,進行如何從數據庫中得到有用信息的研究.數據挖掘技術得到了人們的普遍關注和廣泛興趣,廣泛應用于商品市場、銀行金融、保險、公共設施、政府、教育、遠程通訊、運輸等各個行業(yè)中. 分類是數據挖掘中的一個重要研究領域.分類是一個兩步過程.首先建立一個模型,描述預定義的數據類集或概念集,然后,使用模型進

3、行分類.決策樹分類是一種非常有效的分類方法.迄今為止,人們提出了很多種不同的決策樹分類算法,各種算法在執(zhí)行速度、可擴展性、輸出結果的可理解性,分類的準確性等方面各有千秋.但它們在理論和方法上仍有不足之處.對決策樹算法的進一步優(yōu)化研究將不僅有助于算法理論的完善,而且有助于算法的推廣和應用. 本文對數據挖掘技術,尤其是決策樹分類技術進行了較為系統(tǒng)地分析和研究,并對現有的并行決策樹分類算法提出了改進,主要包括以下一些內容: (

4、1)數據挖掘技術的概述.本文介紹了數據挖掘的基本概念、步驟,分類、主要方法、典型應用以及所面臨的挑戰(zhàn)等等. (2)決策樹分類算法的研究.本文介紹了決策樹分類的一般過程,描述和分析了幾種典型的決策樹建樹和剪枝算法及其特點,就性能進行了對比,并對決策樹技術的研究方向進行了探討. (3)決策樹分類算法的優(yōu)化研究.本文對決策樹分類算法的時間可擴展性和空間可擴展性進行了描述,對提高可擴展性進行了研究.對決策樹的并行化研究進行了細致

5、地探討.(4)一種決策樹分類的并行改進算法.本文提出了一種決策樹分類的并行改進算法,不僅可以提高計算的并行性,而且可以降低I/O及通信開銷,從而達到更好的并行性能,同時它具有良好的可擴展性. (5)決策樹在市場細分中的應用.將本文提出的并行決策樹算法應用于具體的市場細分實例中.針對手機市場,通過并行決策樹分類技術在大量的消費者購買數據中進行分析和比對,進行市場細分,完成從數據導入到生成規(guī)則的完整的數據挖掘步驟,挖掘出不同消費者的