HBase多條件復雜查詢的實現(xiàn)方法研究.pdf

1、隨著互聯(lián)網(wǎng)+時代的到來，互聯(lián)網(wǎng)化和現(xiàn)實世界數(shù)據(jù)化使得數(shù)據(jù)爆發(fā)性增長。這些海量、異構(gòu)的數(shù)據(jù)中蘊含著巨大的潛力和價值，對其進行有效的處理具有重要的意義。為了滿足對大數(shù)據(jù)進行高效處理的需求，非關(guān)系型數(shù)據(jù)庫NoSQL應運而生。作為NoSQL的典型代表，HBase被使用得最為廣泛。但由于HBase采用了key-value的基礎(chǔ)結(jié)構(gòu)，僅支持對RowKey的高效查詢，對多條件復雜查詢存在困難。由于HBase的存儲結(jié)構(gòu)是非結(jié)構(gòu)化的，如果不支持多條件查詢

2、，就不能對敏感和重要數(shù)據(jù)進行定位和保護。所以實現(xiàn)HBase多條件復雜查詢對大數(shù)據(jù)的處理和信息安全有著重要作用。
　　本文致力于實現(xiàn)HBase對多條件復雜查詢的支持，論文的研究工作得到了國家自然科學基金項目(No.61172072、61271308)、北京市自然科學基金項目(No.4112045)和高等學校博士學科點專項科研基金(No.20100009110002)的支持。
　　論文的主要工作如下:首先對HBase的技術(shù)基礎(chǔ)和

3、相關(guān)特性進行研究。然后對現(xiàn)有HBase多條件復雜查詢的實現(xiàn)方法進行研究，將現(xiàn)有方法分為二級索引方法和線性化索引方法。分別對兩類方法的典型技術(shù)進行研究，分析其原理、優(yōu)缺點和運用場景。根據(jù)上述研究和分析提出了一種基于希爾伯特空間填充曲線的線性化索引方法，以實現(xiàn)HBase的多條件復雜查詢。此方法首先提出了一種多條件到主鍵映射的RowKey生成模型，然后運用此模型設計了方法的總體架構(gòu)，之后再給出此方法的查詢策略和過濾器設計，并重構(gòu)了分區(qū)機制，最

4、后對方法進行了非侵入式實現(xiàn)，給出其模塊劃分及其主要方法。
　　為了進一步提高方法的性能，本文提出了一種基于希爾伯特索引和客戶端緩存的優(yōu)化方法。首先描述了希爾伯特索引的結(jié)構(gòu)和實現(xiàn)，然后再從緩存結(jié)構(gòu)和熱點劃分和替換策略方面描述了客戶端緩存方法的設計和實現(xiàn)。
　　為了驗證本文提出的多條件查詢方法的性能和優(yōu)化方法的效果，本文方法先通過與其他方法從查詢性能，插入性能，數(shù)據(jù)冗余度和負載均衡性能方面進行了對比實驗，然后再對優(yōu)化前后的方法性