云環(huán)境下顧及空間子域分布特征的空間大數(shù)據(jù)并行計(jì)算方法研究.pdf

1、空天地立體觀測與移動互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展帶來爆炸式增長的空間大數(shù)據(jù)，迫使空間分析計(jì)算模式從集中式處理、單人機(jī)交互向高擴(kuò)展性、高效性、數(shù)據(jù)多源性方向轉(zhuǎn)變。利用云計(jì)算資源實(shí)現(xiàn)空間大數(shù)據(jù)并行化處理是完成這一模式轉(zhuǎn)變的重要途徑。云環(huán)境下的并行計(jì)算范式本質(zhì)上是一種單指令多數(shù)據(jù)流并行，該范式要求將數(shù)據(jù)集劃分成獨(dú)立的無共享的部分并行處理。然而，空間數(shù)據(jù)具有組織異構(gòu)、分布不均衡、實(shí)體關(guān)聯(lián)性強(qiáng)等特點(diǎn)，這導(dǎo)致空間數(shù)據(jù)無法直接分割以適應(yīng)云環(huán)境下的并行計(jì)算范式

2、，傳統(tǒng)的并行空間計(jì)算方法大多面向特定的應(yīng)用場景，缺乏對空間實(shí)體關(guān)聯(lián)關(guān)系及分布特征的考慮，未能形成包括空間大數(shù)據(jù)組織存儲、劃分計(jì)算、效率優(yōu)化等在內(nèi)的并行計(jì)算方法體系。
　　針對以上問題，本文開展了顧及空間子域分布特征的空間大數(shù)據(jù)并行計(jì)算方法體系研究，提出了不同空間子域分布特征的空間操作數(shù)據(jù)劃分策略與并行化方法，以實(shí)際空間計(jì)算場景為例，采用真實(shí)的空間大數(shù)據(jù)集對本文提出的方法進(jìn)行了正確性與高效性驗(yàn)證，為云環(huán)境下億級空間大數(shù)據(jù)計(jì)算提供了方

3、法支撐與案例借鑒。本文的研究內(nèi)容概括如下:
　　(1)遵循云環(huán)境下并行計(jì)算范式要求，設(shè)計(jì)了空間數(shù)據(jù)云存儲組織與并行空間計(jì)算統(tǒng)一流程表達(dá)方法，研究了面向數(shù)據(jù)劃分的空操作分類及其空間子域分布特征，提出了空間子域的任務(wù)計(jì)算量評估方法，形成完整的并行空間計(jì)算方法體系。
　　(2)在上述基礎(chǔ)上，針對本地空間操作的特性，設(shè)計(jì)了基于默認(rèn)子域和基于格網(wǎng)子域的兩種通用本地空間操作數(shù)據(jù)劃分方法，基于這兩種方法實(shí)現(xiàn)了空間頻率圖和多級金字塔矢量圖的

4、并行繪制，以十億級全球興趣點(diǎn)與百萬級矢量多邊形為測試數(shù)據(jù)對比驗(yàn)證了方法的適用性與高效性。
　　(3)提出了鄰域空間操作的三種規(guī)則空間子域分布形態(tài):范圍分布的規(guī)則空間子域、范圍時空分布的規(guī)則空間子域、異構(gòu)數(shù)據(jù)疊加誤差導(dǎo)致的規(guī)則空間子域，對上述三種子域分布特性的空間操作分別設(shè)計(jì)了并行化方法，分別以空間距離連接、時空熱點(diǎn)分析、大規(guī)模三維地表表面積計(jì)算為案例驗(yàn)證了方法的適用性與高效性。
　　(4)針對空間子域不規(guī)則分布的鄰域空間操作