數(shù)據(jù)庫集群系統(tǒng)的關(guān)鍵技術(shù)研究.pdf

1、目前大型DBMS在海量數(shù)據(jù)的OLTP商業(yè)應(yīng)用中已成為制約整個(gè)信息系統(tǒng)性能和效率提升的瓶頸，傳統(tǒng)的提高單機(jī)的硬件配置和優(yōu)化數(shù)據(jù)庫系統(tǒng)性能參數(shù)的方法也只能有限地提高系統(tǒng)性能。因此，基于多機(jī)并行處理的數(shù)據(jù)庫集群成為人們關(guān)注的熱點(diǎn)，它以高性能、高可用性和高可擴(kuò)展性為目標(biāo)，在高性能計(jì)算、海量數(shù)據(jù)的存儲和處理、Web服務(wù)、電子商務(wù)等領(lǐng)域有著廣泛的應(yīng)用。 圍繞數(shù)據(jù)庫集群系統(tǒng)的并行性能，主要從系統(tǒng)結(jié)構(gòu)、全局事務(wù)的并發(fā)控制、負(fù)載平衡以及數(shù)據(jù)分布等

2、方面解決了集群系統(tǒng)中的一些關(guān)鍵問題。 為了將集群技術(shù)應(yīng)用于數(shù)據(jù)庫系統(tǒng)以實(shí)現(xiàn)大規(guī)模和高并行性能的數(shù)據(jù)庫集群系統(tǒng)，在無共享的數(shù)據(jù)庫集群基礎(chǔ)上設(shè)計(jì)了一種通用的、具有高并行性能的中間件系統(tǒng)，提供單一系統(tǒng)映像結(jié)構(gòu)，采用元數(shù)據(jù)管理、多線索機(jī)制、并行事務(wù)預(yù)處理等技術(shù)，實(shí)現(xiàn)了數(shù)據(jù)庫集群的協(xié)作與并行處理，能滿足對性能要求較高的OLTP商業(yè)應(yīng)用，具有理想的性價(jià)比。該系統(tǒng)既保持了集群中局部數(shù)據(jù)庫站點(diǎn)的自治性，又提高了數(shù)據(jù)庫集群系統(tǒng)的并行性能，解決了大

3、型DBMS的性能瓶頸。 在并發(fā)控制方面，為了保證集群系統(tǒng)中全局事務(wù)的并發(fā)正確執(zhí)行，采用基于謂詞級的多級粒度沖突檢測機(jī)制，并通過檢測謂詞沖突圖中是否存在環(huán)的方法來避免沖突的全局事務(wù)可能會產(chǎn)生的全局死鎖，不僅減小了死鎖檢測粒度而且還提高了全局事務(wù)處理的并發(fā)度，同時(shí)也保持了集群中局部數(shù)據(jù)庫的自治性。此外，還改進(jìn)了一種以事務(wù)提交圖為中心的并發(fā)事務(wù)調(diào)度算法來保證全局事務(wù)的可串行化提交，實(shí)驗(yàn)比較結(jié)果表明該算法有效地提高了全局事務(wù)執(zhí)行的并發(fā)度

4、，增加了事務(wù)吞吐率和減少了響應(yīng)時(shí)間。 負(fù)載平衡是集群系統(tǒng)獲得高并行處理性能和提高資源利用率的有效手段，集群中的負(fù)載平衡器根據(jù)同構(gòu)或異構(gòu)節(jié)點(diǎn)上的CPU、內(nèi)存和磁盤I/O等計(jì)算資源在不同負(fù)載下的綜合利用率來衡量節(jié)點(diǎn)的加權(quán)負(fù)載狀態(tài)，所提出的基于閾值的動態(tài)負(fù)載平衡算法不僅考慮了資源的利用率，而且還考慮了負(fù)載類型對集群系統(tǒng)性能的影響。實(shí)驗(yàn)證實(shí)該策略不僅動態(tài)地保持了系統(tǒng)的負(fù)載平衡，而且還充分發(fā)揮了各節(jié)點(diǎn)的計(jì)算能力，提高了系統(tǒng)中各計(jì)算資源的利

5、用率。 數(shù)據(jù)分布平衡是影響數(shù)據(jù)庫集群系統(tǒng)性能的重要因素，現(xiàn)存的一些數(shù)據(jù)劃分方法把關(guān)系和數(shù)據(jù)都均勻地分布到多個(gè)處理節(jié)點(diǎn)上，而沒有考慮異構(gòu)節(jié)點(diǎn)間計(jì)算能力的差異，使得數(shù)據(jù)庫集群的并行處理能力沒有被充分地發(fā)揮，因此，提出了適合于同構(gòu)及異構(gòu)集群中數(shù)據(jù)分布的改進(jìn)的Range劃分方法，根據(jù)集群中同構(gòu)或異構(gòu)節(jié)點(diǎn)的計(jì)算能力將數(shù)據(jù)不均勻地分布各節(jié)點(diǎn)上，克服了傳統(tǒng)的數(shù)據(jù)均勻劃分的缺點(diǎn)。針對系統(tǒng)負(fù)載中發(fā)生的數(shù)據(jù)傾斜，所采用的聯(lián)機(jī)數(shù)據(jù)遷移算法根據(jù)負(fù)載訪問