集群式并行計(jì)算機(jī)的數(shù)據(jù)分布中間件的研究與開(kāi)發(fā).pdf

1、隨著各大企業(yè)的數(shù)據(jù)集中及網(wǎng)絡(luò)技術(shù)的發(fā)展,信息量越來(lái)越龐大,而從數(shù)據(jù)庫(kù)管理系統(tǒng)本身的應(yīng)用來(lái)講,即使運(yùn)行在性能極高的大型主機(jī)上,在處理大量并發(fā)用戶和大規(guī)模數(shù)據(jù)量時(shí),也很難滿足I/O和CPU方面的性能要求.在這種情況下,數(shù)據(jù)庫(kù)管理系統(tǒng)采用并行技術(shù)就成為一種強(qiáng)烈的需要.并行數(shù)據(jù)庫(kù)系統(tǒng)作為提高系統(tǒng)性能的強(qiáng)有力工具越來(lái)越受到人們的重視.本課題的目的是希望通過(guò)開(kāi)發(fā)一個(gè)針對(duì)集群計(jì)算機(jī)并支持?jǐn)?shù)據(jù)并行處理的中間件系統(tǒng),重點(diǎn)是中間件系統(tǒng)中數(shù)據(jù)分布技術(shù)的研究和

2、開(kāi)發(fā),實(shí)現(xiàn)利用集群計(jì)算機(jī)中的多個(gè)單機(jī)數(shù)據(jù)庫(kù)來(lái)獲得接近并行數(shù)據(jù)庫(kù)的性能.本課題中所研究的數(shù)據(jù)分布技術(shù)指的是無(wú)共享(SN)結(jié)構(gòu)并行數(shù)據(jù)庫(kù)的數(shù)據(jù)分布技術(shù).不同的系統(tǒng)它的數(shù)據(jù)分布的方法與策略也是不同的,沒(méi)有絕對(duì)通用的數(shù)據(jù)分布的方法與策略,我的工作主要就是找到適合本系統(tǒng)的數(shù)據(jù)分布方法與策略.通過(guò)對(duì)SN結(jié)構(gòu)并行數(shù)據(jù)庫(kù)數(shù)據(jù)分布技術(shù)進(jìn)行全面的研究和比較,提出了適合本系統(tǒng)的改進(jìn)的Range劃分方法,并設(shè)計(jì)實(shí)現(xiàn)了一個(gè)數(shù)據(jù)建立工具;通過(guò)對(duì)數(shù)據(jù)傾斜的研究判斷,

3、設(shè)計(jì)了一個(gè)數(shù)據(jù)重分布的算法,依此算法開(kāi)發(fā)了一個(gè)數(shù)據(jù)重分布工具;根據(jù)研究結(jié)果和本系統(tǒng)的實(shí)際情況確定了采用基于容量的數(shù)據(jù)分布策略,并對(duì)劃分屬性的自動(dòng)選擇進(jìn)行了嘗試,設(shè)計(jì)實(shí)現(xiàn)了一個(gè)劃分屬性選擇工具,具有一定的創(chuàng)新性.同時(shí)還對(duì)無(wú)共享結(jié)構(gòu)并行數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)傾斜、數(shù)據(jù)復(fù)制、"小表"的處理等數(shù)據(jù)分布相關(guān)問(wèn)題進(jìn)行了研究,提出了本系統(tǒng)中相應(yīng)的解決辦法,在對(duì)"小表"的處理的研究中,確定了小表在本系統(tǒng)中的應(yīng)用.目前,國(guó)內(nèi)的各大企業(yè)集團(tuán)都在進(jìn)行群集及并行數(shù)據(jù)