基于Hadoop的決策樹算法改進及林業(yè)數(shù)據(jù)分類預測研究.pdf

1、互聯(lián)網(wǎng)的快速發(fā)展，使數(shù)據(jù)規(guī)模呈指數(shù)級增長，海量的數(shù)據(jù)中蘊含著非常多的信息，需要我們挖掘與分析其中價值，在使用傳統(tǒng)駐留內存的數(shù)據(jù)挖掘算法處理海量數(shù)據(jù)時受到了單機性能問題的限制，而Hadoop的海量數(shù)據(jù)存儲系統(tǒng)和并行化編程框架技術為處理海量數(shù)據(jù)的需求提供了一種有效的解決方案。
　　我國的森林資源較為豐富，在多年的監(jiān)測和整理后，森林資源的基礎數(shù)據(jù)資料已經(jīng)初具規(guī)模，其具有高維、噪聲、量大等特點，而傳統(tǒng)的林業(yè)數(shù)據(jù)分析手段在處理上也越來越乏力

2、，已經(jīng)無法滿足林業(yè)的需求，急需引入一種科學的、高效的技術手段。
　　基于以上，本文提出一種基于Hadoop平臺的不確定概率C4.5(ImpreciseProbability C4.5，IP-C4.5)算法，可以對數(shù)據(jù)集的不可靠性帶來的誤差進行優(yōu)化，并具有處理海量數(shù)據(jù)的能力。同時將改進的IP-C4.5算法引入林業(yè)應用，對森林成熟度、森林覆蓋類型進行分類預測，從而對今后林業(yè)數(shù)據(jù)的分析開辟了一種新的模式。
　　本文的具體研究內容如

3、下:
　　(1)選擇了在實際應用中使用較多的C4.5決策樹算法進行研究和改進，利用開源軟件Weka提供的J48代碼進行研究學習;改進的C4.5算法在選取分裂屬性時，用基于不確定概率的信息增益率代替原有的信息增益率，這樣會更加適合處理嘈雜的數(shù)據(jù)集。
　　(2)研究了云計算技術，重點學習研究了Hadoop平臺的文件系統(tǒng)HDFS以及并行編程框架MapReduce，結合傳統(tǒng)決策樹算法的算法模型，在計算屬性選擇度量時將數(shù)據(jù)集進行縱向劃

4、分，以一種基于文件分裂的方式對改進的算法進行并行化設計。在保證沒有犧牲掉分類準確率為代價的前提下，使并行化的算法在處理海量數(shù)據(jù)時具有高效性及可擴展性。
　　(3)林業(yè)數(shù)據(jù)具有高維性、噪音多、海量等特點，而改進的C4.5算法正適合處理嘈雜的數(shù)據(jù)，基于Hadoop平臺的并行化程序又適合處理海量數(shù)據(jù)，所以，最后將設計好的程序應用于處理林業(yè)數(shù)據(jù)。實驗從封閉和開放兩個方面對一組林分小班數(shù)據(jù)集進行森林成熟度的預測，之后對來自UCI國際機器學習