基于MapReduce的空間數(shù)據(jù)RkNN算法研究.pdf

1、近幾年，隨著移動(dòng)互聯(lián)網(wǎng)技術(shù)和地理信息技術(shù)的發(fā)展，基于位置服務(wù)應(yīng)用逐漸興起，從而使得空間定位信息的數(shù)據(jù)量呈現(xiàn)以指數(shù)級(jí)增長(zhǎng)。而在地理位置信息相關(guān)的空間數(shù)據(jù)查詢(xún)中，RkNN（Reverse k Nearest Neighbor，反最近鄰）查詢(xún)問(wèn)題是通過(guò)返回所給查詢(xún)點(diǎn)周?chē)膶?duì)象中，以該查詢(xún)點(diǎn)作為其kNN（k Nearest Neighbor，最近鄰）的所有對(duì)象的集合，其在多種數(shù)據(jù)挖掘應(yīng)用中備受關(guān)注。同樣傳統(tǒng)的RkNN方法也已難以滿足迅猛增長(zhǎng)的數(shù)

2、據(jù)速度以及用戶們的大規(guī)模實(shí)時(shí)查詢(xún)要求。
　　本文將傳統(tǒng)的RkNN算法與MapReduce分布式框架相結(jié)合，分析如何解決大規(guī)?？臻g數(shù)據(jù)的分布式RkNN查詢(xún)問(wèn)題。MapReduce是2004年由谷歌公司提出的一個(gè)用來(lái)進(jìn)行并行處理和生成大數(shù)據(jù)集的模型，而MapReduce框架作為分布式計(jì)算中的典型的離線計(jì)算框架，很難實(shí)現(xiàn)實(shí)時(shí)性計(jì)算效果。因此，本文采用了離線和在線相結(jié)合的系統(tǒng)模型，利用MapReduce框架離線完成倒排網(wǎng)格索引的創(chuàng)建和更新

3、工作，同時(shí)結(jié)合在線計(jì)算方法返回RkNN查詢(xún)結(jié)果。文中首先提出基于大規(guī)?？臻g數(shù)據(jù)集上的倒排網(wǎng)格索引的暴力RkNN查詢(xún)算法——Basic-MRkNN算法;接下來(lái)提出對(duì)此算法的優(yōu)化算法——延遲Lazy-MRkNN查詢(xún)算法和增量式Eager-MRkNN查詢(xún)算法。為了減少網(wǎng)絡(luò)和磁盤(pán)I/O開(kāi)銷(xiāo)，在過(guò)濾過(guò)程中利用了一些剪枝規(guī)則來(lái)提高本文提出的分布式算法性能。此外，通過(guò)在32個(gè)節(jié)點(diǎn)的集群上對(duì)模擬數(shù)據(jù)集和真實(shí)數(shù)據(jù)集的大量實(shí)驗(yàn)表明，本文提出的基本算法在與泰