北部灣海洋科學(xué)數(shù)據(jù)處理云平臺框架的研究與設(shè)計.pdf

1、隨著北部灣海洋生態(tài)資源的開發(fā)和利用，海量海洋科學(xué)數(shù)據(jù)已經(jīng)迅速涌出，這些海量數(shù)據(jù)有如下特性：海量、多樣、復(fù)雜、動態(tài)變化、異構(gòu)等。但是目前各項(xiàng)目中的海洋科學(xué)數(shù)據(jù)都沒有形成統(tǒng)一的存儲和采集的標(biāo)準(zhǔn)與規(guī)范，沒有相應(yīng)的數(shù)據(jù)共享平臺，從而“數(shù)據(jù)孤島”現(xiàn)象就形成了。怎樣合理的存儲和管理并高效地利用這些數(shù)據(jù)，是順利進(jìn)行海洋科學(xué)研究項(xiàng)目首要考慮的關(guān)鍵問題之一。對于大規(guī)模數(shù)據(jù)處理問題，傳統(tǒng)的方法大多采用并行計算、分布式計算、網(wǎng)格計算等技術(shù)，配置計算資源耗費(fèi)昂

2、貴，而且要通過繁瑣的編程才能實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的有效分割和計算任務(wù)的合理分配。隨著云計算技術(shù)的飛速發(fā)展，特別是以Hadoop分布式技術(shù)為代表的云計算數(shù)據(jù)處理技術(shù)，為上述問題的解決提供了一條有效的途徑。本文基于云計算技術(shù)，圍繞如何構(gòu)建北部灣海洋科學(xué)數(shù)據(jù)處理云平臺框架解決方案，開展了以下方面的研究工作：
　　 (1)針對北部灣海洋科學(xué)數(shù)據(jù)處理云平臺的建設(shè)需求，對云計算關(guān)鍵技術(shù)和現(xiàn)有的云計算平臺框架結(jié)構(gòu)進(jìn)行分析和總結(jié)，深入分析和研究具有代

3、表性的云計算Hadoop分布式平臺。
　　 (2)根據(jù)北部灣海洋科學(xué)數(shù)據(jù)的特點(diǎn)和特殊處理需求，明確北部灣海洋科學(xué)數(shù)據(jù)處理云平臺的功能，理清該平臺系統(tǒng)的操作流程，按照云計算中的“軟件即服務(wù)(SaaS)”模式，設(shè)計一個符合北部灣海洋科學(xué)數(shù)據(jù)處理自身要求的云平臺框架。該平臺包括分布式數(shù)據(jù)庫訪問層、數(shù)據(jù)處理平臺層、業(yè)務(wù)應(yīng)用層等三個層面，可實(shí)現(xiàn)分布式文件系統(tǒng)、并行編程環(huán)境、分布式系統(tǒng)管理、并行數(shù)據(jù)存儲的控制與調(diào)度、業(yè)務(wù)應(yīng)用層應(yīng)用軟件的開發(fā)

4、、用戶應(yīng)用接口等功能。
　　 (3)初步搭建了北部灣海洋科學(xué)數(shù)據(jù)處理云平臺的原型系統(tǒng)，闡述了關(guān)鍵模塊的實(shí)現(xiàn)方法和平臺建設(shè)的具體搭建步驟。采用并行分布式計算技術(shù)、Linux集群技術(shù)、以Hadoop分布式平臺作為基礎(chǔ)，使用HDFS分布式文件系統(tǒng)、Map/Reduce并行編程計算模型以及HBase分布式數(shù)據(jù)庫技術(shù)來處理北部灣海洋科學(xué)數(shù)據(jù)，編程實(shí)現(xiàn)了關(guān)鍵模塊，實(shí)現(xiàn)了對云平臺的分布式系統(tǒng)管理，可提供具備高可靠性、高穩(wěn)定性的存儲平臺。最后，