Hadoop平臺下基于HBase的海量數(shù)據(jù)處理研究.pdf

1、隨著大數(shù)據(jù)時代的的來臨,如何高效地處理海量數(shù)據(jù)已經(jīng)是各行各業(yè)都要面對的一個無法回避的問題。為了避免在海量數(shù)據(jù)面前出現(xiàn)“信息孤島”的窘境,開發(fā)一個部署簡單、計算能力強勁的海量信息處理系統(tǒng)已成為一種迫切的需求。目前應(yīng)用最為廣泛的開源分布式并行計算平臺是Hadoop平臺,HBase則是時下風(fēng)頭正盛的非關(guān)系型數(shù)據(jù)庫,因此,致力于如何將二者有機的結(jié)合起來,并構(gòu)建高效的海量信息處理系統(tǒng)的研究具有重要意義。
　　本文對Hadoop以及HBase

2、進(jìn)行了較為深入的研究,并且在有限的資源下搭建出實現(xiàn)了數(shù)據(jù)預(yù)處理、數(shù)據(jù)檢索和數(shù)據(jù)挖掘功能的海量數(shù)據(jù)處理原型系統(tǒng)。該系統(tǒng)利用了MapReduce模型,提高整個系統(tǒng)處理數(shù)據(jù)的速度。論文的主要工作成果體現(xiàn)在如下四個方面:
　　(1)搭建Hadoop平臺并實現(xiàn)了Yarn的部分功能。通過深入研究Mesos架構(gòu),明確了Mesos與Yarn在架構(gòu)上的相似性,理清了Mesos資源調(diào)度器與Hadoop調(diào)度器的關(guān)系,掌握了Mesos與Hadoop如何交

3、互,將二者結(jié)合在一起的同時實現(xiàn)相互兼容。在理論的基礎(chǔ)上實際搭建了該Hadoop平臺。
　　(2)數(shù)據(jù)檢索模塊的設(shè)計與實現(xiàn)。根據(jù)HBase的存儲原理及索引結(jié)構(gòu),選用基于內(nèi)存框架 Spark的四叉樹檢索算法作為數(shù)據(jù)檢索模塊的核心算法,遍歷HBase數(shù)據(jù)表實現(xiàn)具體檢索過程。并根據(jù)數(shù)據(jù)類型選擇是否加入Reduce過程,以提高檢索效率。
　　(3)數(shù)據(jù)挖掘模塊的設(shè)計與實現(xiàn)。將經(jīng)過并行化的Apriori算法進(jìn)行云端遷移并作為數(shù)據(jù)挖掘模塊