基于Hadoop平臺的決策樹算法研究.pdf

1、隨著網(wǎng)絡時代的發(fā)展與普及，數(shù)據(jù)量呈現(xiàn)爆發(fā)性增長。由于傳統(tǒng)的數(shù)據(jù)挖掘算法是運行在單處理機上的，但是受限于計算能力和存儲能力，使得傳統(tǒng)的數(shù)據(jù)挖掘算法在處理海量數(shù)據(jù)時效率很低，極大的加重了數(shù)據(jù)挖掘技術(shù)的負擔。而擁有巨大的計算能力和存儲能力，以及其低成本、高容錯性的優(yōu)點的Hadoop平臺的出現(xiàn)則為數(shù)據(jù)挖掘在處理海量數(shù)據(jù)時提供了新的方向。在Hadoop平臺上，使用HDFS分布式文件系統(tǒng)來實現(xiàn)文件存儲以及MapReduce編程模型來進行分布式計算。

2、將傳統(tǒng)的數(shù)據(jù)挖掘算法部署到Hadoop平臺上，便可進行海量數(shù)據(jù)的挖掘任務。
　　本文首先介紹了Hadoop平臺的關(guān)鍵技術(shù)及運行機制，并深入了解HDFS讀取和寫入文件的過程，MapReduce并行編程模型的原理和工作機制，簡單介紹了知識發(fā)現(xiàn)的過程并給出了數(shù)據(jù)挖掘算法的特性以及決策樹的構(gòu)建與分類。在介紹了典型的決策樹算法C4.5算法和SPRINT算法各自的算法模型的基礎(chǔ)上，討論了C4.5算法和SPRINT算法的并行化策略，結(jié)合MapR

3、educe模型給出了詳細的算法設(shè)計，并且從理論上分析了改進后的C4.5bH算法和SPRINTbH算法。然后將原始的C4.5算法和SPRINT算法的分類準確率與改進后的算法進行比較，發(fā)現(xiàn)改進后的算法的分類準確率并沒有改變，然后又通過對算法的可擴展性進行研究，研究結(jié)果表明改進后的算法的并行計算時間明顯小于串行計算的時間，并且并行計算的時間隨著集群數(shù)的增加而減少。最后通過結(jié)合了C4.5算法和SPRINT算法在數(shù)據(jù)處理方面的優(yōu)勢，設(shè)計了一個新的

4、CS算法來處理數(shù)據(jù)挖掘，并且通過對這三個算法的準確率進行分析比較，發(fā)現(xiàn)CS算法的準確率高于其他兩個算法的準確率。并且在實現(xiàn)了CS算法的并行化過程以后也對該算法的準確率和可擴展性進行了研究。
　　通過實驗分析和比較，對海量數(shù)據(jù)而言，改進后的C4.5算法和SPRINT算法在Hadoop平臺上的都具有較高的加速比，而且在增加處理集群數(shù)量的時候運行時間反而減少，即算法具有良好的可擴展性，在一定程度上解決了C4.5算法和SPRINT算法在計