基于Hadoop的地理實體對象化存儲方法研究.pdf

1、隨著互聯(lián)網(wǎng)技術發(fā)展與變革的推進,“智慧城市”建設步伐的加快,地理實體時空數(shù)據(jù)規(guī)模隨之不斷擴大,數(shù)據(jù)中心硬件建設和管理維護的成本也不斷增加,如何及時有效的存儲和處理這些海量時空數(shù)據(jù),成為城市建設中的一大瓶頸。Hadoop是一個能夠充分利用網(wǎng)絡實現(xiàn)資源和計算能力共享的分布式框架,基于Hadoop的時空數(shù)據(jù)存儲就是將海量時空數(shù)據(jù)分布給網(wǎng)絡中的各個服務器節(jié)點來實現(xiàn)其存儲,緩解了單機數(shù)據(jù)存儲與處理中心的壓力,為云環(huán)境下的時空數(shù)據(jù)的并行處理提供了技

2、術支持,實現(xiàn)了資源共享。本文以地理實體為出發(fā)點,結合面向?qū)ο蠹夹g,將地理實體在Hadoop環(huán)境下抽象為時空對象并將其時空屬性進行封裝,以構成時空對象的最小單元——元對象作為Hadoop環(huán)境下的最小存儲單元,利用基于Hadoop框架所具有的分布式存儲機制,實現(xiàn)在計算機集群系統(tǒng)中時空數(shù)據(jù)的分布式存儲,重點研究了基于Hadoop框架的時空數(shù)據(jù)存儲模型的構建和并行化查詢方法。具體研究了以下幾方面內(nèi)容:
　　(1)探索Hadoop環(huán)境下的地

3、理實體時空數(shù)據(jù)組織方法。通過采用面向?qū)ο蟪橄蠹夹g,將地理實體在Hadoop環(huán)境下進行對象化封裝,將元對象作為時空對象的最小組成單元的同時,也作為在Hadoop環(huán)境下進行時空數(shù)據(jù)時的最小組織單元。
　　(2)構建基于Hadoop的時空數(shù)據(jù)存儲模型。在對Hadoop存儲框架的架構特點與工作原理進行分析和研究的基礎上,利用HDFS和HBase進行數(shù)據(jù)節(jié)點的部署,并在主服務器MasterServer端建立時空對象與其構成元對象之間的映射關

4、系,實現(xiàn)數(shù)據(jù)的快速存取。
　　(3)研究校園實體在Hadoop環(huán)境下的數(shù)據(jù)組織方法和物理存儲表設計。將校園實體抽象為校園實體對象,并由道路、服務設施、建筑物和移動對象等組合而成,各對象與其構成元對象之間通過id進行映射。
　　(4)提出一種以MapReudce為原型的Hadoop時空數(shù)據(jù)查詢并行化框架。通過對空間數(shù)據(jù)查詢流程及優(yōu)化方法的分析,結合MapReduce并行運算原理,設計了時空范圍和k最近鄰并行查詢方法,實現(xiàn)數(shù)據(jù)的