基于Hadoop的能源數(shù)據(jù)存儲體系中多級索引表DHT算法的研究.pdf

1、分類號密級UDC學位論文基于Hadoop的能源數(shù)據(jù)存儲體系中多級索引表DHT算法的研究（題名和副題名）王英杰（作者姓名）指導教師姓名湯羽教授電子科技大學成都（職務(wù)、職稱、學位、單位名稱及地址）申請學位級別碩士專業(yè)名稱計算機應(yīng)用技術(shù)論文提交日期2012.04論文答辯日期2012.05學位授予單位和日期電子科技大學答辯委員會主席評閱人年月日摘要I摘要在21世紀的今天，能源問題成為了一個嚴重影響人們生產(chǎn)和生活的問題。目前的國內(nèi)形勢來看，進入2

2、1世紀以來電力持續(xù)短缺，煤炭資源全面緊張，天然氣的價格也隨著需求的擴大不斷提高。與此同時，電力、天然氣、煤炭資源等等資源的消耗與開發(fā)產(chǎn)生了極大的數(shù)據(jù)量，如果能夠存儲和管理好這些數(shù)據(jù)可以為能源的節(jié)約和高效利用提供一個有效的途徑。能源數(shù)據(jù)在目前從數(shù)量上來說已經(jīng)到了海量級。采用傳統(tǒng)的關(guān)系數(shù)據(jù)庫SQLSERVER、MYSQL、ACLE等等雖然在目前仍然能夠勉強滿足存儲的需求，但是需要一個超大容量的存儲空間，擴展性存在瓶頸。另一方面?zhèn)鹘y(tǒng)的關(guān)系數(shù)據(jù)

3、庫在面對海量數(shù)據(jù)的數(shù)據(jù)查詢請求時，查詢效率較低越來越變得難以讓人接受。怎樣解決在海量數(shù)據(jù)的背景下的存儲和精確查找成為了當前的關(guān)鍵目標。目前來看云存儲的技術(shù)對海量的能源數(shù)據(jù)進行存儲和高效的管理是一種比較可行的方案。同時，高效準確地在云存儲的環(huán)境下查找到需要的數(shù)據(jù)也成為了一個關(guān)鍵的問題現(xiàn)有的查找算法雖然在一定程度上可以查找數(shù)據(jù)，但是目前仍然需要進一步的改進與性能提升。本文首先介紹了當前的云存儲環(huán)境下的查找算法的背景與國內(nèi)外的發(fā)展水平，然后詳

4、細介紹了相關(guān)的技術(shù)和名詞。根據(jù)能源數(shù)據(jù)的特性和Hbase的表的特點，利用Hadoop平臺，設(shè)計了一個依托Hadoop和Hbase的存儲系統(tǒng)來存儲和管理能源數(shù)據(jù)。成功實現(xiàn)了能源數(shù)據(jù)的分布式存儲功能，然后對其模型做了進一步的改進。再在Hbase的基礎(chǔ)上進行了快速查找算法的研究，設(shè)計了一個多級索引表查找算法，通過MapReduce編程模型實現(xiàn)了算法的仿真。仿真實驗的結(jié)果證明了該查找算法()DHT的查找效率在云存儲的分布式環(huán)境下相比于傳統(tǒng)的數(shù)據(jù)