數(shù)據(jù)統(tǒng)計的概率算法研究與并行化設計.pdf

1、時至今日,大數(shù)據(jù)(BigData)時代已經(jīng)來臨,尤其在電信、金融、互聯(lián)網(wǎng)行業(yè),數(shù)據(jù)量的增長已達TB甚至PB級。如何對大數(shù)據(jù)進行統(tǒng)計分析是我們面臨的巨大挑戰(zhàn)。云計算的出現(xiàn)和發(fā)展,為數(shù)據(jù)統(tǒng)計分析提出了新的方式,其安全可靠的海量數(shù)據(jù)存儲能力,簡單易行的并行計算能力,廉價普通的設備要求,具有節(jié)約成本,提高效率的優(yōu)點,成為解決數(shù)據(jù)統(tǒng)計分析問題的有效方式。
　　數(shù)據(jù)統(tǒng)計分析是我們?nèi)粘Ｉ罟ぷ髦蟹浅Ｆ毡榈男枨?例如求解數(shù)據(jù)集中數(shù)據(jù)項的基數(shù)、求解

2、數(shù)據(jù)集中最頻繁數(shù)據(jù)項集、求解最頻繁數(shù)據(jù)項集的頻度等等。隨著云計算的成熟,越來越多的電信和互聯(lián)網(wǎng)公司將數(shù)據(jù)的存儲和統(tǒng)計分析移植到云計算平臺下。如何在云計算的環(huán)境下進行數(shù)據(jù)的統(tǒng)計和分析是一個具有現(xiàn)實意義的問題。面對海量的數(shù)據(jù),分布式的平臺,傳統(tǒng)的數(shù)據(jù)統(tǒng)計分析方法已無法有效的解決我們的數(shù)據(jù)統(tǒng)計分析需求,這也就客觀要求我們能夠采用不同于傳統(tǒng)的統(tǒng)計分析算法并且能夠并行化,部署到云計算平臺上運行。如果能夠采用有效的數(shù)據(jù)統(tǒng)計分析算法移植到云計算平臺上

3、,并且滿足我們的要求,問題便迎刃而解。
　　本文從實際需求出發(fā),綜合考慮現(xiàn)實要求,提出了在云計算平臺框架Hadoop下,采用Map Reduce并行編程模式實現(xiàn)數(shù)據(jù)統(tǒng)計分析算法的并行化,并通過實驗驗證其可行性和有效性。本文選擇基數(shù)求解和TOPK兩個常用的數(shù)據(jù)統(tǒng)計分析問題作為我們研究的對象,提出了基于概率的算法,通過MapReduce實現(xiàn)算法的并行化,借助于平臺Hadoop解決這兩個典型的數(shù)據(jù)統(tǒng)計分析問題。研究證明了在云計算平臺下,