面向Cassandra的內(nèi)存管理機(jī)制研究與實(shí)現(xiàn).pdf

1、Cassandra數(shù)據(jù)庫(kù)系統(tǒng)是一個(gè)混合型的開(kāi)源非關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)，最初由Facebook開(kāi)發(fā)，后來(lái)將其開(kāi)源，成為了 Apache的頂級(jí)項(xiàng)目之一。如今 Cassandra分布式NoSQL數(shù)據(jù)庫(kù)系統(tǒng)正躋身于數(shù)據(jù)庫(kù)排行榜的Top10行列之中，由于其良好的可擴(kuò)展性，被Digg、Twitter等知名Web2.0網(wǎng)站所采納。
　　在Cassandra數(shù)據(jù)庫(kù)系統(tǒng)實(shí)際的運(yùn)行維護(hù)過(guò)程中，其往往可以實(shí)現(xiàn)較高的寫(xiě)入響應(yīng)速率，但是由于其寫(xiě)入機(jī)制的限制造成

2、了大量的數(shù)據(jù)冗余，這將會(huì)嚴(yán)重影響到數(shù)據(jù)庫(kù)的讀取響應(yīng)速率。其自身實(shí)現(xiàn)的數(shù)據(jù)合并機(jī)制在一定程度上可以緩解由于數(shù)據(jù)冗余而影響到的讀取響應(yīng)速率，但是其不合理的合并策略和時(shí)機(jī)同樣會(huì)影響到數(shù)據(jù)庫(kù)的性能。此外其內(nèi)存空間的不同分配也將會(huì)影響到系統(tǒng)各方面的性能。
　　本文的重點(diǎn)研究方向是如何改進(jìn)Cassandra數(shù)據(jù)庫(kù)系統(tǒng)不合理的合并機(jī)制，針對(duì)該問(wèn)題，本文提出了一種動(dòng)態(tài)的數(shù)據(jù)管理機(jī)制，使之可以在合并的過(guò)程中最小程度的影響用戶請(qǐng)求的響應(yīng)性能，同時(shí)增加

3、合并過(guò)程的成功率，提升合并機(jī)制的優(yōu)化效果。同時(shí)本文還建立了內(nèi)存不同功能單元分配大小和系統(tǒng)性能之間的量化關(guān)系模型，從而用于指導(dǎo)實(shí)際應(yīng)用中的運(yùn)行維護(hù)。
　　本文所做的工作及成果有：
　　1）深入分析了Cassandra數(shù)據(jù)庫(kù)系統(tǒng)的讀寫(xiě)流程，針對(duì)造成其讀寫(xiě)性能不均衡、讀取性能較差的特點(diǎn)，在系統(tǒng)原有的合并機(jī)制基礎(chǔ)上，利用程序給定的接口，提出并實(shí)現(xiàn)了一整套更加科學(xué)高效的動(dòng)態(tài)數(shù)據(jù)管理機(jī)制。
　　2）在提出的動(dòng)態(tài)數(shù)據(jù)管理機(jī)制的基礎(chǔ)上

4、進(jìn)行合理化改進(jìn)，通過(guò)合理選取參與合并的文件、文件預(yù)取、多線程合并以及系統(tǒng)實(shí)施監(jiān)測(cè)等多種手段提升合并機(jī)制對(duì)讀取操作性能的優(yōu)化效果、優(yōu)化合并時(shí)機(jī)的選取，此外還通過(guò)減少合并時(shí)間降低合并過(guò)程對(duì)系統(tǒng)的影響并且增加合并操作成功的概率。實(shí)驗(yàn)結(jié)果表明，該機(jī)制能夠提升合并過(guò)程15％左右，同時(shí)提升系統(tǒng)讀取請(qǐng)求響應(yīng)速率1倍左右。
　　3） Cassandra數(shù)據(jù)庫(kù)系統(tǒng)運(yùn)行時(shí)內(nèi)存可以劃分為多個(gè)功能單元，都可以通過(guò)配置參數(shù)來(lái)進(jìn)行調(diào)整。然而在實(shí)際應(yīng)用過(guò)程中，

5、內(nèi)存空間的劃分往往要靠經(jīng)驗(yàn)或是反復(fù)嘗試來(lái)解決，并不總能找到最佳的劃分方案。本文在深入理解系統(tǒng)流程機(jī)制的基礎(chǔ)上，詳盡分析了內(nèi)存中各個(gè)功能單元與系統(tǒng)性能之間的關(guān)聯(lián)。
　　4）通過(guò)深入分析Cassandra數(shù)據(jù)庫(kù)讀寫(xiě)訪存機(jī)制以及請(qǐng)求數(shù)據(jù)分布，首先通過(guò)數(shù)學(xué)手段分析建立內(nèi)存各功能單元和系統(tǒng)性之間函數(shù)關(guān)系，之后通過(guò)實(shí)驗(yàn)測(cè)試，建立內(nèi)存空間大小和系統(tǒng)讀寫(xiě)性能之間的量化關(guān)系模型——讀寫(xiě)內(nèi)存模型。該模型已在實(shí)際的Cassandra數(shù)據(jù)庫(kù)服務(wù)器中實(shí)現(xiàn)，