云計算平臺上的增量學習研究.pdf

1、自1969年互聯(lián)網(wǎng)誕生到2011年互聯(lián)網(wǎng)被廣泛應用到社會的各個領(lǐng)域，流經(jīng)互聯(lián)網(wǎng)的數(shù)據(jù)量至少膨脹了200億倍，并且這些數(shù)據(jù)每天都會以更快、更大規(guī)模的趨勢增加。為了將每天產(chǎn)生的新數(shù)據(jù)納入到新的學習系統(tǒng)，需要利用增量學習。而如何快速、高效地挖掘蘊含在海量數(shù)據(jù)中有價值、易理解的知識成為增量式數(shù)據(jù)挖掘領(lǐng)域面臨的新的挑戰(zhàn)。
　　近年來，云計算技術(shù)的出現(xiàn)為海量數(shù)據(jù)挖掘技術(shù)的發(fā)展帶來了新的機遇。一方面云計算能夠集成廣域網(wǎng)上的計算資源，為數(shù)據(jù)挖掘提

2、供物理基礎，另一方面，并行計算技術(shù)是云計算的核心技術(shù)，借助云計算特有的分布式編程模式MapReduce，程序可以自動地分布到一個由普通機器組成的超大集群上并發(fā)執(zhí)行，初步實現(xiàn)了自動并行執(zhí)行機制。此外，作為Apache軟件基金會組織下的一個極具特色的開源項目，Hadoop可以方便、快速的實現(xiàn)計算機集群。Hadoop的分布式文件系統(tǒng)(HDFS)能將超大規(guī)模的數(shù)據(jù)進行分布式存儲，而其自帶的MapReduce編程框架可以在HDFS基礎上實現(xiàn)快速的

3、并行化計算。因此，面對每天產(chǎn)生的海量的增量數(shù)據(jù)，設計基于開源云計算環(huán)境Hadoop的增量分類算法具有十分重要的意義。
　　要實現(xiàn)基于Hadoop云計算平臺的增量學習任務，一個關(guān)鍵的問題就是如何將傳統(tǒng)的增量學習算法并行化。本文結(jié)合傳統(tǒng)增量學習算法自身的特點，在深入分析MapReduce框架機制之后，將模塊化的集成學習思想融入增量學習的過程中，設計了兩種基于云計算平臺的增量分類算法。兩種算法的Map階段都是完成相應基分類器的訓練，不同