氣象數(shù)據(jù)歸檔與查詢系統(tǒng)數(shù)據(jù)管理技術研究與優(yōu)化.pdf

1、氣象科學數(shù)據(jù)是地球科學數(shù)據(jù)的重要組成部分。通過對大氣的各種要素狀態(tài)的定量描述來研究其物理和化學特性，從而揭示地球大氣的演變規(guī)律，實現(xiàn)對各種大氣現(xiàn)象的預測。隨著社會、經濟和科學技術的發(fā)展，氣象科學數(shù)據(jù)蘊含的巨大價值亟待被發(fā)掘和利用。因此迫切需要利用先進的計算機和信息技術來實現(xiàn)各種海量復雜氣象科學數(shù)據(jù)的高效管理和共享。氣象歸檔查詢系統(tǒng)（MARS）正是在這一背景下誕生的。其主要作用是管理使用自描述信息編碼的各種氣象數(shù)據(jù)產品文件。經過多年的廣泛

2、應用，MARS系統(tǒng)在海量氣象科學數(shù)據(jù)管理方面發(fā)揮了巨大作用。本文立足于這一成熟的科學大數(shù)據(jù)管理平臺，研究分析了氣象科學數(shù)據(jù)管理的相關技術，特別是針對MARS系統(tǒng)在實際業(yè)務運行中關鍵技術存在的性能瓶頸問題，提出了相應的改進方案。主要工作和貢獻如下：
　　1、對目前國內外氣象科研部門研發(fā)和使用的主流氣象科學數(shù)據(jù)管理系統(tǒng)進行數(shù)據(jù)管理框架和關鍵技術的研究和分析。結合氣象科學數(shù)據(jù)邏輯、物理結構和數(shù)據(jù)模型，分析和研究MARS系統(tǒng)的主要架構和基

3、于多維數(shù)據(jù)模型的元數(shù)據(jù)組織和管理方式、對象管理及對象數(shù)據(jù)庫、文件存儲接口等關鍵技術。提出了MARS系統(tǒng)在處理大數(shù)據(jù)量服務請求時元數(shù)據(jù)操作效率低下的關鍵研究問題。
　　2、提出了基于多路數(shù)組結構MARS系統(tǒng)數(shù)據(jù)立方體并行計算方法。MARS系統(tǒng)數(shù)據(jù)管理技術的核心是利用數(shù)據(jù)立方體技術實現(xiàn)元數(shù)據(jù)索引計算。在對多維數(shù)據(jù)模型和數(shù)據(jù)立方體技術深入研究的基礎上，對制約數(shù)據(jù)管理效率提高的元數(shù)據(jù)索引串行計算問題進行了深入分析。在此基礎上，提出基于多路

4、數(shù)組結構的數(shù)據(jù)立方體并行算法來提高元數(shù)據(jù)索引計算的效率，并通過實驗驗證此算法可以有效降低元數(shù)據(jù)索引的數(shù)據(jù)立方體計算時間。
　　3、研究設計MARS系統(tǒng)數(shù)據(jù)查詢和歸檔過程中的元數(shù)據(jù)檢索和更新并行計算方法。結合多路數(shù)組結構的數(shù)據(jù)立方體并行計算方法，對系統(tǒng)中邏輯元數(shù)據(jù)與物理元數(shù)據(jù)的檢索和更新進行并行化改進，并針對并行計算的結果歸并問題提出基于二次數(shù)據(jù)立方體計算優(yōu)化方法。實驗結果表明算法對于大數(shù)據(jù)量查詢和歸檔的元數(shù)據(jù)操作效率有明顯的提高。