基于LSM-Tree的HBase數據庫分布式索引研究.pdf

1、面對大數據的蓬勃發(fā)展，通過探究和尋找高效的大數據存儲管理辦法，以提供實時或準時的大數據查詢和分析能力，已經作為一個非常值得研究的課題。NoSql正好適應于解決大數據背景下高并發(fā)的數據讀寫問題，其中HBase就是一個典型應用。HBase為大數據的存儲和查詢提供了高效的技術和平臺，但是HBase只有面向主鍵列的查詢，然而很多情況下需要非主鍵查詢，來滿足實時或準時查詢。因此，研究HBase的非主鍵查詢性能成為一個值得研究的課題。
　　本

2、文對HBase的非主鍵索引方法進行了深入研究，設計并實現了一種基于LSM-Tree的分布式索引方案。該索引方案采取讀寫分離、批量更新的方法，將基線數據的索引數據持久化存儲，在內存中完成數據的增加、刪除、修改等更新操作，并將查詢頻率高的數據的索引緩存在內存中。本文對訪問過的數據進行熱度累積，把熱度值進行排序，存儲在緩存中，通過這種熱度累積的緩存替換策略來改善緩存的查詢性能。通過熱度累積的緩存替換策略，獲得了優(yōu)于LRU的緩存查詢效率，進一步

3、改善了HBase上非主鍵查詢的查詢性能。主要解決了以下幾個方面的問題:解決了基于LSM-Tree架構對海量數據的索引構建問題;設計了基于LSM-Tree架構的索引維護和查詢策略;在HBase數據庫上驗證索引的可行性和正確性?；贚SM-Tree分布式索引構建的時間開銷是完全可以接受的，雖然空間開銷約占用戶表的50％，但是達到數十倍、數百倍以上的查詢性能上的提升是完全值得的。相比標準的HBase數據非主鍵查詢，本文的索引結構設計使查詢效率