基于Hadoop的時(shí)態(tài)信息存儲(chǔ)與檢索策略的研究.pdf

1、隨著信息技術(shù)的深入發(fā)展，蜂擁而至的信息演變成了各個(gè)領(lǐng)域和行業(yè)分析、處理以及應(yīng)用的關(guān)鍵，成為左右決策最重要的因素。幾乎所有信息都顯式或隱式地具備時(shí)態(tài)特征，探討時(shí)態(tài)信息的存儲(chǔ)與檢索技術(shù)成為是時(shí)態(tài)信息處理的核心之一。當(dāng)前架構(gòu)在傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)之上的時(shí)態(tài)數(shù)據(jù)模型在進(jìn)行超大規(guī)模和高并發(fā)的時(shí)態(tài)數(shù)據(jù)存儲(chǔ)和處理時(shí)遭遇了性能瓶頸，暴露了諸多難以克服的問(wèn)題，既無(wú)法滿足對(duì)時(shí)態(tài)數(shù)據(jù)的高并發(fā)讀寫需求，同時(shí)也難以處理大量存在的類型復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)，學(xué)者們開(kāi)始逐步關(guān)

2、注分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop下的應(yīng)用。Hadoop是一個(gè)開(kāi)源的云計(jì)算架構(gòu)，具有大規(guī)模擴(kuò)展和水平分布的特點(diǎn)，可以提供動(dòng)態(tài)的存儲(chǔ)和計(jì)算能力，這就為海量時(shí)態(tài)數(shù)據(jù)的存儲(chǔ)和快速檢索提供了一個(gè)新思路。
　　針對(duì)海量非結(jié)構(gòu)化時(shí)態(tài)信息，構(gòu)建了在分布式環(huán)境下的數(shù)據(jù)存儲(chǔ)模型并在此基礎(chǔ)上提出一種基本的時(shí)態(tài)數(shù)據(jù)處理方法。使用Hadoop平臺(tái)下的分布式、非結(jié)構(gòu)化數(shù)據(jù)庫(kù)HBase對(duì)時(shí)態(tài)數(shù)據(jù)進(jìn)行存儲(chǔ)，構(gòu)造以時(shí)態(tài)集合為時(shí)態(tài)存儲(chǔ)單元的時(shí)態(tài)數(shù)據(jù)存儲(chǔ)模型;對(duì)于時(shí)態(tài)

3、信息的查詢需求，針對(duì)分布式處理特征和時(shí)態(tài)集合數(shù)據(jù)類型，提出一種在Map/Reduce編程計(jì)算模式下進(jìn)行時(shí)態(tài)信息關(guān)系演算的實(shí)現(xiàn)方法;通過(guò)擴(kuò)展時(shí)態(tài)區(qū)間關(guān)系運(yùn)算，實(shí)現(xiàn)以時(shí)態(tài)集合為基本時(shí)態(tài)數(shù)據(jù)操作對(duì)象的交、并等關(guān)系運(yùn)算，并以醫(yī)療時(shí)態(tài)數(shù)據(jù)作為研究實(shí)例，表明了所提出的時(shí)態(tài)數(shù)據(jù)存儲(chǔ)模型和關(guān)系演算方案在分布式應(yīng)用系統(tǒng)下的適用性。對(duì)于時(shí)態(tài)信息的快速檢索需求，設(shè)計(jì)了多級(jí)分布式哈希索引表算法(tDHT)，實(shí)現(xiàn)對(duì)時(shí)態(tài)列族的時(shí)態(tài)屬性值的高效、快速的檢索。通過(guò)將時(shí)

4、態(tài)屬性值向二維空間映射，實(shí)現(xiàn)時(shí)態(tài)數(shù)據(jù)向空間對(duì)象的轉(zhuǎn)化，采用對(duì)空間數(shù)據(jù)的處理方法對(duì)時(shí)態(tài)數(shù)據(jù)區(qū)域進(jìn)行劃分，生成多級(jí)時(shí)態(tài)數(shù)據(jù)子區(qū)域，利用分布式哈希表思想設(shè)計(jì)HBase存儲(chǔ)的多級(jí)索引表目錄。
　　論文的創(chuàng)新之處包括:(1)針對(duì)傳統(tǒng)的時(shí)態(tài)數(shù)據(jù)庫(kù)在存儲(chǔ)海量非結(jié)構(gòu)化時(shí)態(tài)信息遭遇性能瓶頸，構(gòu)建分布式存儲(chǔ)結(jié)構(gòu)HBase下的海量時(shí)態(tài)信息存儲(chǔ)模型，設(shè)計(jì)了海量時(shí)態(tài)信息的存儲(chǔ)架構(gòu);(2)對(duì)于存儲(chǔ)體系中時(shí)態(tài)信息的查詢、分析操作，提出一種在Map/Reduce

5、編程模式下進(jìn)行海量時(shí)態(tài)信息關(guān)系演算的方案，實(shí)現(xiàn)了以時(shí)態(tài)集合為操作對(duì)象的并、交以及笛卡爾積等時(shí)態(tài)關(guān)系演算過(guò)程;(3)針對(duì)海量時(shí)態(tài)信息的快速、高效檢索需求，設(shè)計(jì)了多級(jí)分布式哈希索引表算法(tDHT)，實(shí)現(xiàn)對(duì)時(shí)態(tài)列族的時(shí)態(tài)屬性值的高效、快速檢索。
　　根據(jù)設(shè)計(jì)方案，文章最后進(jìn)行了相應(yīng)的性能測(cè)試和數(shù)據(jù)分析，從實(shí)驗(yàn)結(jié)果可以看出，本文提出的海量時(shí)態(tài)信息的存儲(chǔ)、查詢與檢索方案在云計(jì)算平臺(tái)下展現(xiàn)了良好的適用性，較大程度上提高了對(duì)海量時(shí)態(tài)數(shù)據(jù)的處理