基于Spark的分類回歸樹算法并行性研究.pdf

1、隨著計算機技術(shù)與信息化技術(shù)的發(fā)展，信息化與現(xiàn)代化在社會各行各業(yè)都得到了極大的普及與覆蓋，而這些信息化的普及給各行各業(yè)帶了一個最大的問題就是數(shù)據(jù)呈指數(shù)級增長。為了充分利用這些數(shù)據(jù)，數(shù)據(jù)挖掘技術(shù)隨之迅速發(fā)展。分類技術(shù)是數(shù)據(jù)挖掘的一種重要手段，也得到了廣泛的發(fā)展。
　　決策樹分類技術(shù)是分類技術(shù)的一個重要的分支，本文主要對決策樹分類技術(shù)進行了深入的研究，詳細介紹了決策樹分類技術(shù)的一些關(guān)鍵概念、決策樹的處理過程、決策樹技術(shù)主要的研究內(nèi)容等。

2、決策樹主要的研究內(nèi)容包括：數(shù)據(jù)預處理技術(shù)、分割屬性的選取策略、決策樹的剪枝、決策樹的并行化和增量式?jīng)Q策樹。其中，屬性的選取標準是決策樹最關(guān)鍵的研究內(nèi)容，不同的決策樹之間最大的區(qū)別就是屬性選取標準的區(qū)別。
　　本文還詳細的介紹了CART這一決策樹算法，包括其屬性選取的標準、兩種不同類型的屬性（離散型屬性和連續(xù)型屬性）的不同處理方式以及其剪枝算法等，然后以示例的方式詳細地描述了 CART算法的“建樹”和“剪枝”兩個重要的處理流程。

3、r>　　本文還對Spark分布式處理框架進行了研究，詳細的介紹了Spark分布式處理框架的特點以及其與Hadoop分布式處理框架的不同之處。本文還列舉了Spark在國內(nèi)外大公司的成功使用案例。
　　本文還分析了CART決策樹算法的不足之處，并以此提出了自己的改進，包括對CART算法的并行化改進以及減少不必要計算量的改進；同時，我們還結(jié)合Spark這一種新興的分布式處理框架來對我們CART算法進行了另一種的并行化改進。
　　最