基于混合緩存架構(gòu)的Cassandra讀性能優(yōu)化.pdf

1、隨著大數(shù)據(jù)時(shí)代的來臨，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)、查詢、分析方式漸漸力不從心，難以適應(yīng)海量數(shù)據(jù)的處理需求。關(guān)注非關(guān)系型、分布式、開源、可以線性擴(kuò)展這幾個(gè)特點(diǎn)的NoSQL數(shù)據(jù)庫應(yīng)運(yùn)而生，能夠很好地滿足大數(shù)據(jù)時(shí)代的數(shù)據(jù)存儲(chǔ)與處理需求。Cassandra作為NoSQL數(shù)據(jù)庫的代表之一，被廣泛地應(yīng)用于各大IT公司，承擔(dān)著極其重要的數(shù)據(jù)存儲(chǔ)和處理任務(wù)。然而Cassandra仍舊是一個(gè)相對較為年輕的分布式數(shù)據(jù)庫系統(tǒng)，其在各方面尤其是性能方面還有很大的改進(jìn)空間。

2、在實(shí)際使用過程中，我們發(fā)現(xiàn)Cassandra的讀性能較差，難以滿足日漸增長的讀數(shù)據(jù)需求。經(jīng)過對Cassandra系統(tǒng)架構(gòu)的分析以及性能測試，我們發(fā)現(xiàn)讀操作較慢的主要原因是數(shù)據(jù)讀取過程中涉及較多的硬盤IO操作。如果在讀數(shù)據(jù)時(shí)命中Cassandra的RowCache緩存，就可以直接從緩存中獲取完整數(shù)據(jù)進(jìn)而省略硬盤IO過程，故增大緩存可以明顯地提升讀操作的性能。但是內(nèi)存空間是有限的，且價(jià)格較高，無法進(jìn)行大規(guī)模擴(kuò)充來滿足緩存高命中率的要求。而近

3、年來出現(xiàn)的固態(tài)硬盤具有低消耗、高容量、高速度、低耗費(fèi)的特點(diǎn)，將其作為內(nèi)存的擴(kuò)展，是增大緩存的極佳方案。目前將固態(tài)硬盤作為系統(tǒng)交換區(qū)來擴(kuò)展內(nèi)存是較為常用的手段，但是這種方案有較多的缺點(diǎn)，無法充分利用固態(tài)硬盤的優(yōu)點(diǎn)。
　　本文針對性地設(shè)計(jì)并實(shí)現(xiàn)了基于內(nèi)存和固態(tài)硬盤的混合緩存架構(gòu)，將固態(tài)硬盤作為內(nèi)存的擴(kuò)展，為Cassandra提供大容量、高速度的RowCache緩存服務(wù)，來優(yōu)化其讀性能。我們設(shè)計(jì)的緩存架構(gòu)分為兩層五區(qū)，其中內(nèi)存層分為三個(gè)

4、區(qū)域，固態(tài)硬盤層分為兩個(gè)區(qū)域。混合緩存在充分利用內(nèi)存和固態(tài)硬盤的存儲(chǔ)空間和讀寫速度的情況下，盡量減少固態(tài)硬盤讀寫過程中的擦除操作，來減少固態(tài)硬盤的使用損耗。同時(shí)我們設(shè)計(jì)了一種使數(shù)據(jù)在各區(qū)域中有序轉(zhuǎn)移交換算法，能夠區(qū)分對待混合緩存中的冷熱數(shù)據(jù)，使較熱的數(shù)據(jù)能夠存儲(chǔ)在內(nèi)存層，而相對較冷的數(shù)據(jù)存儲(chǔ)在固態(tài)硬盤層?；旌暇彺嫦到y(tǒng)可以與Cassandra無縫銜接，并對用戶提供了友好的參數(shù)配置界面，包括靜態(tài)和動(dòng)態(tài)兩種配置接口，使用戶可以簡單方便的使用。