基于Hadoop的海洋數(shù)據(jù)存儲(chǔ)處理系統(tǒng).pdf

1、海洋作為一個(gè)資源寶庫，已經(jīng)得到了許多國家的關(guān)注。并且隨著對(duì)海洋資源的開發(fā)與利用的不斷深入，越來越多的海洋科學(xué)數(shù)據(jù)就涌現(xiàn)出來。這些海洋數(shù)據(jù)有著自己的特點(diǎn)，例如:多樣，復(fù)雜，動(dòng)態(tài)變化和異構(gòu)等，因此需要有針對(duì)性的存儲(chǔ)和處理策略。但是目前對(duì)于海洋科學(xué)數(shù)據(jù)的存儲(chǔ)與采集都沒有形成統(tǒng)一的標(biāo)準(zhǔn)與規(guī)范。所以如何合理的存儲(chǔ)與管理海洋數(shù)據(jù)并且對(duì)海洋數(shù)據(jù)實(shí)現(xiàn)高效的利用已成為海洋科學(xué)研究的關(guān)鍵問題之一。
　　傳統(tǒng)的處理大規(guī)模數(shù)據(jù)的方法也有很多，一般會(huì)通過并

2、行計(jì)算，分布式計(jì)算，網(wǎng)格計(jì)算等，這些技術(shù)有著自己的局限性。它們?cè)谫Y源配置上面價(jià)格昂貴，并且要通過繁瑣的編程才能實(shí)現(xiàn)對(duì)計(jì)算大規(guī)模數(shù)據(jù)的有效分割和合理分配。而以Hadoop為代表的云計(jì)算，云存儲(chǔ)卻能很好的解決這些問題。
　　本文在對(duì)Hadoop分布式存儲(chǔ)與處理技術(shù)進(jìn)行研究的基礎(chǔ)上，在一例海洋探測(cè)系統(tǒng)開發(fā)實(shí)踐過程中，研究了Hadoop技術(shù)在海洋數(shù)據(jù)存儲(chǔ)和處理的應(yīng)用，設(shè)計(jì)了基于Hadoop的海洋數(shù)據(jù)存儲(chǔ)處理系統(tǒng)架構(gòu)，并對(duì)Hadoop上的海

3、洋數(shù)據(jù)的處理進(jìn)行了一定的研究。本文針對(duì)海洋數(shù)據(jù)存儲(chǔ)處理系統(tǒng)的建設(shè)需求，對(duì)云計(jì)算的關(guān)鍵技術(shù):Hadoop，HBase，HDFS進(jìn)行了分析和總結(jié);在分析了海洋數(shù)據(jù)的特點(diǎn)總結(jié)得出了海洋數(shù)據(jù)處理的需求，并結(jié)合著用戶對(duì)系統(tǒng)的需求分析，設(shè)計(jì)出了系統(tǒng)的整體架構(gòu)，實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)在HDFS上的功能，并且對(duì)上傳的數(shù)據(jù)進(jìn)行了優(yōu)化處理，本系統(tǒng)采用的是數(shù)據(jù)去重技術(shù)，然后利用mapreduce的實(shí)現(xiàn)了對(duì)特殊格式NetCDF格式文件的讀取以及

4、轉(zhuǎn)換成自定義的.txt格式數(shù)據(jù)的功能，接下來設(shè)計(jì)了面向列存儲(chǔ)的HBase數(shù)據(jù)表，實(shí)現(xiàn)了將海洋數(shù)據(jù)存儲(chǔ)到HBase數(shù)據(jù)庫中，最后實(shí)現(xiàn)了系統(tǒng)的前臺(tái)用戶查詢界面對(duì)數(shù)據(jù)的各種操作功能，本系統(tǒng)實(shí)現(xiàn)了根據(jù)不同的登錄用戶提供不同的操作模塊。在本文最后進(jìn)行了數(shù)據(jù)壓力測(cè)試和數(shù)據(jù)檢索測(cè)試，通過數(shù)據(jù)結(jié)果證明數(shù)據(jù)存儲(chǔ)在Hadoop上面的可行性。
　　基于Hadoop的海洋數(shù)據(jù)的存儲(chǔ)與處理系統(tǒng)為云技術(shù)處理海洋數(shù)據(jù)提供了一種可行的解決方案，可以有效的存儲(chǔ)和處