非關(guān)系型數(shù)據(jù)庫(kù)統(tǒng)一存儲(chǔ)與訪問接口研究.pdf

1、大數(shù)據(jù)的出現(xiàn)給信息技術(shù)領(lǐng)域帶來(lái)了新的挑戰(zhàn)，因其數(shù)據(jù)量巨大，增長(zhǎng)速度快，數(shù)據(jù)類型多樣，關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)很難滿足大數(shù)據(jù)存儲(chǔ)的需求。非關(guān)系型數(shù)據(jù)庫(kù)因其具有高效的讀寫性能及良好的可擴(kuò)展性，數(shù)據(jù)存儲(chǔ)模式更為靈活等特點(diǎn)，非常適合大數(shù)據(jù)的存儲(chǔ)。在構(gòu)建大數(shù)據(jù)存儲(chǔ)與分析平臺(tái)應(yīng)用系統(tǒng)中，多種非關(guān)系型數(shù)據(jù)庫(kù)并存的架構(gòu)能夠充分發(fā)揮各存儲(chǔ)系統(tǒng)的優(yōu)勢(shì)，但是不同的非關(guān)系性數(shù)據(jù)庫(kù)數(shù)據(jù)模型不同，數(shù)據(jù)訪問方式也不一致，構(gòu)建多源異構(gòu)的大數(shù)據(jù)存儲(chǔ)系統(tǒng)因而變得十分復(fù)雜。另外，非

2、關(guān)系型數(shù)據(jù)庫(kù)在使用中存在性能上的問題，在高負(fù)載數(shù)據(jù)傳輸?shù)沫h(huán)境下阻塞式的通信模式會(huì)引起數(shù)據(jù)庫(kù)性能的降低。為了解決以上問題，本文開展的工作如下:
　　首先，對(duì)國(guó)內(nèi)外多源異構(gòu)的存儲(chǔ)技術(shù)的研究進(jìn)行了分析比較，對(duì)相關(guān)技術(shù)的研究現(xiàn)狀及存在的問題進(jìn)行了描述。分析了四種主流的非關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)模型，根據(jù)現(xiàn)有數(shù)據(jù)集成的思想提出了一種針對(duì)非關(guān)系型數(shù)據(jù)庫(kù)的統(tǒng)一存儲(chǔ)與訪問模型。模型統(tǒng)一了數(shù)據(jù)的存儲(chǔ)模式，通過(guò)緩存系統(tǒng)存儲(chǔ)臨時(shí)數(shù)據(jù)，并設(shè)計(jì)出了基于REST風(fēng)格

3、的統(tǒng)一訪問接口。
　　其次，針對(duì)非關(guān)系型數(shù)據(jù)庫(kù)的性能這一問題，對(duì)HBase數(shù)據(jù)庫(kù)進(jìn)行了研究，分析了HBase RPC客戶端與服務(wù)端的通信機(jī)制。HBase RPC客戶端采用的是阻塞通信模式，這種通信模式在網(wǎng)絡(luò)高負(fù)載等情況下會(huì)引起客戶端線程的阻塞，降低了系統(tǒng)的通信效率。因此提出了非阻塞式的HBase RPC客戶端通信模型，并通過(guò)Java NIO技術(shù)實(shí)現(xiàn)。
　　最后，實(shí)現(xiàn)了基于HBase的統(tǒng)一存儲(chǔ)與訪問的系統(tǒng)原型。原型采用MySQ