基于Hadoop的空間矢量數(shù)據(jù)的分布式存儲(chǔ)與查詢研究.pdf

1、目前空間數(shù)據(jù)的規(guī)模不斷增長(zhǎng)，使得處理和分析空間數(shù)據(jù)技術(shù)的難度不斷增加，同時(shí) GIS在各個(gè)行業(yè)的廣泛應(yīng)用，海量空間數(shù)據(jù)進(jìn)行高效管理和處理的難度不斷加大，多數(shù)領(lǐng)域也對(duì)空間數(shù)據(jù)的精度提出了越來(lái)越高的要求，迫切需要新的技術(shù)和方法來(lái)管理和處理海量的空間數(shù)據(jù)。目前的開(kāi)源的分布式大數(shù)據(jù)處理平臺(tái)利用分布式存儲(chǔ)和并行計(jì)算的方法能為解決上述問(wèn)題提供一種新的方法。
　　本文基于Hadoop開(kāi)源大數(shù)據(jù)處理平臺(tái)，利用HBase在空間數(shù)據(jù)并發(fā)訪問(wèn)和數(shù)據(jù)處理方

2、面的優(yōu)勢(shì)來(lái)高效、合理存儲(chǔ)和管理空間數(shù)據(jù)，主要在空間數(shù)據(jù)的存儲(chǔ)和查詢兩個(gè)方面作了比較深入的研究。首先，研究了空間數(shù)據(jù)存儲(chǔ)與并行處理的國(guó)內(nèi)外現(xiàn)狀，分析對(duì)比了當(dāng)前空間數(shù)據(jù)的幾種存儲(chǔ)方式，深入研究了MapReduce并行計(jì)算框架的整個(gè)原理和運(yùn)行的機(jī)制以及 HBase的存儲(chǔ)模型，并設(shè)計(jì)了空間數(shù)據(jù)復(fù)合行鍵拼接加入分隔符的行鍵存儲(chǔ)模式，取消了過(guò)濾列族的設(shè)計(jì)。接著使用GeoTools工具將Shapefile文件導(dǎo)入HBase表，通過(guò)GeoTools工具

3、構(gòu)建出空間數(shù)據(jù)對(duì)象，分析了GeoTools工具整合到 MapReduce并行計(jì)算框架下空間數(shù)據(jù)處理的流程。最后，在此基礎(chǔ)上，提出了空間數(shù)據(jù)的窗口查詢、多邊形區(qū)域查詢的MapReduce并行化解決方案以及基于Geohash的空間數(shù)據(jù)的K近鄰查詢算法，并在Hadoop的分布式環(huán)境中進(jìn)行了空間數(shù)據(jù)導(dǎo)入和多種空間查詢和并行處理實(shí)驗(yàn)，驗(yàn)證了HBase存儲(chǔ)和處理空間數(shù)據(jù)的優(yōu)勢(shì)以及查詢算法有更高的效率和更好的準(zhǔn)確性。
　　主要取得了以下研究成果

4、：
　?。?）通過(guò)一種在HBase中新的空間數(shù)據(jù)的存儲(chǔ)表模式設(shè)計(jì)，來(lái)獲得HBase在海量空間數(shù)據(jù)分布式存儲(chǔ)方面性能的優(yōu)越性。
　?。?）提出將 GeoTools工具整合到 MapReduce并行計(jì)算框架下空間數(shù)據(jù)處理的流程，通過(guò)這個(gè)方式來(lái)完成空間數(shù)據(jù)的導(dǎo)入導(dǎo)出。
　?。?）采用 MapReduce2.0并行程序設(shè)計(jì)框架來(lái)完成空間數(shù)據(jù)的窗口查詢、多邊形區(qū)域查詢，經(jīng)實(shí)驗(yàn)證明，該并行化算法對(duì)比與傳統(tǒng)查詢算法有明顯的優(yōu)勢(shì)。