基于Hilbert空間填充曲線的多維數(shù)據(jù)查詢研究.pdf

1、在大數(shù)據(jù)時代，數(shù)據(jù)呈現(xiàn)出爆炸式的增長。基于HBase/Hadoop的大數(shù)據(jù)管理系統(tǒng)應(yīng)運而生，并且很好的滿足大數(shù)據(jù)對于存儲和計算能力的需求。HBase/Hadoop系統(tǒng)中任何數(shù)據(jù)訪問都是通過Rowkey來實現(xiàn)，而對非Rowkey的數(shù)據(jù)訪問將導(dǎo)致全部數(shù)據(jù)集合（或者全表）的掃描，這極大增加了查詢時間。為了解決上述問題，本文提出了一種在HBase/Hadoop系統(tǒng)之上的新的數(shù)據(jù)查詢方法。本文具體研究內(nèi)容如下：
　　我們搭建基于HBase/

2、Hadoop的大數(shù)據(jù)管理系統(tǒng)，并提出基于Hilbert空間填充曲線的HBase Rowkey設(shè)計方法。針對大數(shù)據(jù)具有數(shù)據(jù)量大、維度高、復(fù)雜度高、非結(jié)構(gòu)化等特點，搭建了基于Hadoop和HBase的大數(shù)據(jù)存儲和處理集群，該集群包括5臺服務(wù)器，其中一臺作為master節(jié)點，另外四臺作為slave節(jié)點。通過平臺對數(shù)據(jù)進(jìn)行前期處理，提出基于Hilbert空間填充曲線的HBaseRowkey的設(shè)計算法，從而實現(xiàn)有效數(shù)據(jù)切分，使得數(shù)據(jù)均衡的分布在集

3、群中的不同節(jié)點上，從而直接提高分析平臺的并行計算效率。
　　本文中，我們還將線性化技術(shù)引入到HBase的Rowkey設(shè)計當(dāng)中，實現(xiàn)了基于語義的Rowkey。語義Rowkey不僅僅是數(shù)據(jù)的唯一標(biāo)識，同時Rowkey包含了一定的語義信息。這種Rowkey設(shè)計實現(xiàn)了相近內(nèi)容數(shù)據(jù)的聚集性。同時，將針對任何數(shù)據(jù)域，特別是多維數(shù)據(jù)域的查詢轉(zhuǎn)換為一維空間的局部線性查詢，避免了HBase的全表掃描，提高查詢效率，降低查詢的I/O負(fù)載。通過在我們構(gòu)