海量空間環(huán)境數(shù)據(jù)分布式并行處理關鍵技術研究.pdf

1、空間環(huán)境數(shù)據(jù)集是衛(wèi)星探測器載荷對空間環(huán)境采樣而來的一個持續(xù)增大的數(shù)據(jù)集。隨著探測器衛(wèi)星及其探測器載荷的增多,這一數(shù)據(jù)集對空間環(huán)境的描述也將越來越細粒度,增度也將越來越快。面對海量的空間環(huán)境數(shù)據(jù),較多的研究集中于針對該TB級數(shù)據(jù)中一個小子集數(shù)據(jù)的可視化設計實現(xiàn)中,且受單機計算能力限制,海量的空間環(huán)境數(shù)據(jù)中蘊含的大量統(tǒng)計學角度講很有價值的信息還沒有被挖掘出來。1)海量存儲和現(xiàn)有文件系統(tǒng)之間的矛盾;2)海量計算需求與單機計算能力限制之間的矛盾

2、,將越來越突出。
　　分布式并行計算技術能夠改善以上兩個矛盾。本文以分布式計算框架中一個優(yōu)秀的實現(xiàn)Hadoop為例,將分布式并行計算技術引入到空間環(huán)境數(shù)據(jù)分析中來。并針對以上兩個矛盾展開了兩部分內容的研究。
　　(1)空間環(huán)境數(shù)據(jù)的分布式存儲。首先討論空間環(huán)境數(shù)據(jù)的形式、特點和應用,分析衛(wèi)星數(shù)據(jù)的分布式并行化處理需求及其可行性。從存儲和并行計算兩個子框架出發(fā)對分布式并行機理進行闡述。然后,歸納總結空間環(huán)境數(shù)據(jù)HDFS小文件問

3、題現(xiàn)狀及其解決方向,結合衛(wèi)星數(shù)據(jù)的形式和特點,通過改進小文件合并形式及提出DTBF算法等改善衛(wèi)星數(shù)據(jù)的小文件集在分布式文件系統(tǒng)上的低讀寫效率和高內存使用問題,并設計實現(xiàn)空間環(huán)境數(shù)據(jù)分布式文件管理器。
　　(2)空間環(huán)境數(shù)據(jù)并行化計算。針對空間環(huán)境數(shù)據(jù)的并行計算需求,本文通過使用元數(shù)據(jù)文件設計實現(xiàn)空間環(huán)境數(shù)據(jù)的統(tǒng)一預處理模型,用以解決其數(shù)據(jù)集成、清洗、變換和簡化的預處理需求。接著分析空間環(huán)境數(shù)據(jù)分析的算法級和任務級并行化,并提出一種

4、映射任務滿載的任務并行推送MFL-TP算法來優(yōu)化空間環(huán)境數(shù)據(jù)分析中多子任務并行的運行效率。最后,引入Kmeans聚類算法來解決典型空間環(huán)境數(shù)據(jù)的分析任務中可視化分析的不足,并實現(xiàn)該聚類算法的并行化以解決其在大量數(shù)據(jù)中的內存和運行時間瓶頸問題。
　　本文搭建空間環(huán)境分布式實驗集群,對提出的改進空間環(huán)境數(shù)據(jù)HDFS內存利用和文件訪問方法進行實驗,實驗驗證達到了預期的設計目標。對并行Kmeans算法和MFL-TP算法的實驗也驗證了算法并