基于Hadoop平臺的海量數(shù)據(jù)隨機抽樣系統(tǒng)研究.pdf

1、隨著海量數(shù)據(jù)時代的來臨，存儲和研究寶貴的數(shù)據(jù)資源成為學(xué)術(shù)界和工業(yè)界研究和開發(fā)的熱點。隨機抽樣作為傳統(tǒng)統(tǒng)計學(xué)中的基本方法被大量運用于海量數(shù)據(jù)研究中，通過隨機抽樣獲取樣本并依據(jù)對樣本集的研究獲取總體的特征規(guī)律被證明是一種簡單有效的方法。Hadoop平臺作為一個開源、高效、穩(wěn)定的分布式處理平臺在海量數(shù)據(jù)處理中得到了廣泛的應(yīng)用，成為很多工程人員和研究者做海量數(shù)據(jù)處理時的首選平臺。
　　傳統(tǒng)的隨機抽樣算法由于原理限制在海量數(shù)據(jù)處理中顯得笨拙

2、和低效。要開發(fā)出一種適用于分布式平臺的高效的隨機抽樣算法，便要克服海量數(shù)據(jù)處理中獲取樣本空間大小代價較大的弱點，使得算法可以不依賴樣本空間大小運行。通過對海量數(shù)據(jù)隨機抽樣算法的研究，實現(xiàn)對海量數(shù)據(jù)集的高效隨機抽樣，對提高海量數(shù)據(jù)研究和應(yīng)用的效率具有重要的意義。
　　本文通過大量的文獻調(diào)研，首先對海量數(shù)據(jù)抽樣以及Hadoop平臺的產(chǎn)生歷史、整體架構(gòu)和核心組件進行了分析，然后對水塘抽樣算法進行了研究。在詳細分析水塘抽樣的特點之后，我們