基于MapReduce的分布式空間連接查詢研究.pdf

1、近年來，隨著信息化步伐的加快，地理空間信息獲取技術(shù)進(jìn)步日新月異。同時(shí)，地理空間數(shù)據(jù)規(guī)模與日俱增，已成為海量數(shù)據(jù)的重要來源之一。空間連接查詢是一種常用且非常耗時(shí)的復(fù)雜空間查詢操作，特別是在處理大規(guī)模空間數(shù)據(jù)集時(shí)，由于傳統(tǒng)單機(jī)系統(tǒng)和MPI集群系統(tǒng)都難以滿足其對(duì)時(shí)空開銷的需求，因此，如何在云計(jì)算環(huán)境中設(shè)計(jì)高效的分布式空間連接查詢算法已成為當(dāng)前學(xué)術(shù)界和產(chǎn)業(yè)界研究的熱點(diǎn)問題。
　　本文首次嘗試提出了一種云計(jì)算環(huán)境下的分布式 QR-樹索引結(jié)構(gòu)

2、，并在該索引基礎(chǔ)上進(jìn)行基于MapReduce的空間連接查詢。本文主要工作如下：
　　（1）提出了一種云計(jì)算環(huán)境下能夠支持大規(guī)模數(shù)據(jù)集的分布式QR-樹索引結(jié)構(gòu)，并詳細(xì)介紹了其構(gòu)建的過程。分布式 QR-樹索引的構(gòu)建過程可分為以下兩個(gè)步驟：首先，采用基于四叉樹的空間數(shù)據(jù)劃分對(duì)空間數(shù)據(jù)集進(jìn)行劃分并分布式存儲(chǔ)在HDFS數(shù)據(jù)塊中；然后，在分割后的每個(gè)子區(qū)域數(shù)據(jù)塊中并行構(gòu)建R樹索引。
　　（2）在構(gòu)建分布式QR-樹索引基礎(chǔ)上，將分布式QR

3、-樹索引結(jié)構(gòu)與分布式并行計(jì)算框架MapReduce相結(jié)合，設(shè)計(jì)和實(shí)現(xiàn)了基于MapReduce的空間連接查詢算法QRSJ-MR。另外，針對(duì)算法中存在的索引并發(fā)訪問問題，采用了實(shí)時(shí)緩存機(jī)制對(duì)索引并發(fā)訪問進(jìn)行優(yōu)化。
　?。?）搭建Hadoop集群環(huán)境，測(cè)試基于MapReduce的分布式空間連接算法QRSJ-MR的效率。本文在空間交疊連接查詢和空間包含連接查詢上，分別與非索引的MapReduce空間連接算法和基于R-樹索引的MapRedu