基于spark的分類回歸樹算法并行性研究

1、基于Spark的分類回歸樹算法并行性研究重慶大學(xué)碩士學(xué)位論文（學(xué)術(shù)學(xué)位）學(xué)生姓名：王曉楠王曉楠指導(dǎo)教師：尹云飛副教授專業(yè)：計(jì)算機(jī)軟件與理論學(xué)科門類：工學(xué)重慶大學(xué)計(jì)算機(jī)學(xué)院二O一六年四月萬方數(shù)據(jù)重慶大學(xué)碩士學(xué)位論文中文摘要I摘要隨著計(jì)算機(jī)技術(shù)與信息化技術(shù)的發(fā)展，信息化與現(xiàn)代化在社會(huì)各行各業(yè)都得到了極大的普及與覆蓋，而這些信息化的普及給各行各業(yè)帶了一個(gè)最大的問題就是數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)。為了充分利用這些數(shù)據(jù)，數(shù)據(jù)挖掘技術(shù)隨之迅速發(fā)展。分類技術(shù)是

2、數(shù)據(jù)挖掘的一種重要手段，也得到了廣泛的發(fā)展。決策樹分類技術(shù)是分類技術(shù)的一個(gè)重要的分支，本文主要對(duì)決策樹分類技術(shù)進(jìn)行了深入的研究，詳細(xì)介紹了決策樹分類技術(shù)的一些關(guān)鍵概念、決策樹的處理過程、決策樹技術(shù)主要的研究?jī)?nèi)容等。決策樹主要的研究?jī)?nèi)容包括：數(shù)據(jù)預(yù)處理技術(shù)、分割屬性的選取策略、決策樹的剪枝、決策樹的并行化和增量式?jīng)Q策樹。其中，屬性的選取標(biāo)準(zhǔn)是決策樹最關(guān)鍵的研究?jī)?nèi)容，不同的決策樹之間最大的區(qū)別就是屬性選取標(biāo)準(zhǔn)的區(qū)別。本文還詳細(xì)的介紹了CAR

3、T這一決策樹算法，包括其屬性選取的標(biāo)準(zhǔn)、兩種不同類型的屬性（離散型屬性和連續(xù)型屬性）的不同處理方式以及其剪枝算法等，然后以示例的方式詳細(xì)地描述了CART算法的“建樹”和“剪枝”兩個(gè)重要的處理流程。本文還對(duì)Spark分布式處理框架進(jìn)行了研究，詳細(xì)的介紹了Spark分布式處理框架的特點(diǎn)以及其與Hadoop分布式處理框架的不同之處。本文還列舉了Spark在國(guó)內(nèi)外大公司的成功使用案例。本文還分析了CART決策樹算法的不足之處，并以此提出了自己的