基于云平臺的ARGO海洋環(huán)境觀測數(shù)據(jù)檢索與插值.pdf

1、云平臺技術(shù)的快速發(fā)展使人們越來越關(guān)注大數(shù)據(jù)(Big data)。如果想要分析大型數(shù)據(jù)集就需要通過像Hadoop中的并行計算模型MapReduce那樣的框架為成百、成千甚至上萬臺電腦分配工作,所以大數(shù)據(jù)分析通常會和云平臺緊密的結(jié)合在一起。從技術(shù)上來講,大數(shù)據(jù)與云計算的關(guān)系可以描述為一枚硬幣的正反兩面那樣密不可分。很顯然,大數(shù)據(jù)是無法用單臺計算機(jī)來進(jìn)行處理,而是必須要采用分布式計算架構(gòu)。這個架構(gòu)最大的特色就是能夠?qū)Ａ繑?shù)據(jù)進(jìn)行分析,但是只有

2、依靠云計算技術(shù)中的分布式數(shù)據(jù)庫技術(shù)、分布式處理技術(shù)、云存儲技術(shù)以及虛擬化技術(shù)才能夠?qū)崿F(xiàn)這個架構(gòu)。
　　隨著云計算技術(shù)的發(fā)展,開源云平臺Hadoop顯然已成世界上最重要的云計算技術(shù)之一,Hadoop中的并行計算模型MapReduce也應(yīng)用在分布式計算中。此框架對海量數(shù)據(jù)進(jìn)行分割然后分配到多個節(jié)點上,接著對每一個節(jié)點進(jìn)行并行計算,將得出的結(jié)果歸并后進(jìn)行輸出。下一階段計算的輸入就是上一階段計算的輸出,因此可以想象到一個與樹狀結(jié)構(gòu)類似的分

3、布式計算結(jié)構(gòu),在每一個不同階段都會產(chǎn)出不同的結(jié)果,同時在分布式集群的資源下并行和串行進(jìn)行結(jié)合的計算也可以很好地得以高效的處理。
　　對ARGO海洋環(huán)境觀測數(shù)據(jù)進(jìn)行分析,有利于保護(hù)海洋環(huán)境和預(yù)防海洋氣候災(zāi)害,與此同時ARGO海洋環(huán)境觀測數(shù)據(jù)也屬于典型的大數(shù)據(jù),但ARGO數(shù)據(jù)分析軟件很少。所以本文針對ARGO海洋環(huán)境觀測數(shù)據(jù)數(shù)據(jù)量大、離散分布等特點,為了能夠高效的研究ARGO海洋環(huán)境觀測數(shù)據(jù),我們需要將ARGO海洋環(huán)境觀測數(shù)據(jù)的分布與

4、其它空間現(xiàn)象分布模式進(jìn)行比較,也就是說我們需要將離散分布的ARGO海洋環(huán)境觀測數(shù)據(jù)轉(zhuǎn)換成為連續(xù)的數(shù)據(jù)曲面,因此本文主要工作是研究基于Hadoop平臺來對ARGO海洋環(huán)境觀測數(shù)據(jù)進(jìn)行插值與檢索。由于采用不同的方法進(jìn)行插值會產(chǎn)生不同的計算效率,本文主要實現(xiàn)了兩種插值方法:一種方法是通過分布式計算模型MapReduce的Map過程對ARGO海洋環(huán)境觀測數(shù)據(jù)區(qū)域分塊,在Reduce過程中,計算每個ARGO數(shù)據(jù)點的近鄰點,然后分別對每一塊的ARG

5、O海洋環(huán)境觀測數(shù)據(jù)分別進(jìn)行插值計算,從而得出插值后連續(xù)的數(shù)據(jù)曲面。由于采用這種方法會對一個ARGO海洋環(huán)境觀測數(shù)據(jù)區(qū)域中的所有點進(jìn)行檢索,就需要遍歷整個ARGO海洋環(huán)境觀測數(shù)據(jù)區(qū)域中的所有點,但是對于像ARGO海洋環(huán)境觀測數(shù)據(jù)這種大量記錄,很顯然這種方法檢索效率很低,因此提出了第二種方法:在第一種方法的基礎(chǔ)之上進(jìn)行改進(jìn),通過KD樹近鄰算法找到每個塊的每個數(shù)據(jù)的近鄰點來建立索引表,然后直接根據(jù)索引表來計算插值,這種方法減少了搜索點的數(shù)量,