基于Chunk Folding的多租戶云數(shù)據(jù)存儲緩存管理機制.pdf

1、隨著網絡技術的發(fā)展,以及外包計算和存儲的大量涌現(xiàn),一種新的計算模式——云計算,正在逐漸興起。所謂云計算,是指通過網絡方便按需地訪問可配置的共享計算資源,如網絡、存儲、內存、應用等,其計算資源的供給和釋放不需要或只需很少的人工參與。就目前而言,SaaS(Software as a Service)是公認的云計算的最好的實現(xiàn)形式。
　　在SaaS模式下,服務提供商需要存儲成千上萬租戶的數(shù)據(jù),而單獨為每一個租戶分配一個數(shù)據(jù)庫實例需要大量

2、的資源,而事實上任一數(shù)據(jù)庫實例在大多數(shù)情況下的使用率是極低的,這就導致了大量的資源浪費。針對此問題,共享數(shù)據(jù)庫共享存儲模式被提出來用以解決具有相似存儲模式的數(shù)據(jù)庫實例的資源浪費,如Universal Table,Pivot Table,Chunk Folding等,而為了減少那些不具備相似存儲模式的數(shù)據(jù)庫實例的資源浪費,數(shù)據(jù)庫合并(Database Consolidation)被提出來用于進一步減少數(shù)據(jù)庫實例的數(shù)量,從而獲取規(guī)模經濟效益

3、。共享存儲模式和數(shù)據(jù)庫合并可以極大程度的減少數(shù)據(jù)庫實例的數(shù)量,從而降低資源浪費,但是基于傳統(tǒng)數(shù)據(jù)庫搭建的多租戶數(shù)據(jù)庫的緩存管理機制存在著以下不足或挑戰(zhàn):
　　(1)數(shù)據(jù)塊緩存替換單元的局限性。傳統(tǒng)數(shù)據(jù)庫緩存機制以數(shù)據(jù)塊作為緩存單元,而多租戶共享存儲架構下,任一數(shù)據(jù)塊均包含了大量其他租戶的無關數(shù)據(jù),采用數(shù)據(jù)塊作為緩存單元導致大量緩存資源的浪費。
　　(2)租戶間緩存資源分配的盲目性。傳統(tǒng)數(shù)據(jù)庫緩存機制缺乏多租戶的概念,對于來自

4、租戶的請求,傳統(tǒng)緩存機制會從提高數(shù)據(jù)庫整體性能的角度進行緩存管理,這就會導致租戶間資源分配的極為不合理,如高頻訪問租戶搶占低頻訪問租戶的資源,使得低頻訪問租戶的SLA響應時間需求得不到保障,這與云計算環(huán)境下的彈性以及按需分配特性相違背。
　　(3)云緩存資源分配缺乏有效的分配機制。云計算環(huán)境下,為獲取良好的伸縮性以及達到負載均衡,租戶數(shù)據(jù)被劃分到多個數(shù)據(jù)節(jié)點進行存儲,如何確定各節(jié)點緩存內容使得:(a)租戶的SLA響應時間得到滿足,

5、(b)云緩存效益(I/O減少次數(shù))盡可能高,云緩存資源消耗盡可能少,(c)各子節(jié)點的I/O負載均衡。
　　本文針對云計算環(huán)境下多租戶數(shù)據(jù)庫緩存管理機制的上述問題和挑戰(zhàn),結合Chunk Folding共享存儲模式的特性,從緩存替換單元,多租戶特性及云緩存資源協(xié)調分配等幾方面著手,提出了適應負載的動態(tài)緩存單元生成機制,緩存單元I/O估價模型,多租戶云緩存資源分配機制。本文的主要工作及成果包括:
　　(1)提出了基于Chunk F

6、olding的動態(tài)緩存替換單元的生成機制。該機制以租戶的請求負載和租戶后臺Chunk Folding共享存儲架構的物理存儲模式作為輸入,輸出一系列列(集)緩存替換單元,將該緩存替換單元取代傳統(tǒng)數(shù)據(jù)庫的數(shù)據(jù)塊緩存替換單元可以大幅度降低緩存消耗,提升緩存利用率。
　　(2)給出緩存單元的I/O效益估價模型。該模型結合數(shù)據(jù)庫(MySQL)查詢優(yōu)化器的執(zhí)行計劃以及Chunk Folding的特性,得出每一緩存替換單元的I/O效益,并用此效

7、益值與緩存替換單元所占緩存空間的比值作為該緩存替換單元的I/O效益率(半命中率),此外為實現(xiàn)云數(shù)據(jù)節(jié)點I/O負載均衡,結合當前節(jié)點的I/O負載狀況,對每一緩存替換單元的I/O效益率進行加權修正,并將其作為衡量是否緩存該替換單元的標準,取代傳統(tǒng)的命中率作為緩存與否衡量標準,使得緩存整體效益得到提升。
　　(3)給出兩種緩存分配策略,租戶級和系統(tǒng)級緩存分配策略。采用貪婪算法迭代選擇緩存單元進駐內存,并對相關緩存單元的效益指標進行修正。

8、通過租戶級緩存分配策略實現(xiàn)租戶緩存分配的在線動態(tài)調整,通過系統(tǒng)級緩存分配策略實現(xiàn)系統(tǒng)緩存松弛操作從而降低系統(tǒng)整體緩存消耗。
　　針對基于傳統(tǒng)數(shù)據(jù)庫搭建的多租戶數(shù)據(jù)庫在緩存管理機制存在的不足和新挑戰(zhàn),本文給出了相應的解決機制—多租戶云數(shù)據(jù)存儲緩存管理機制(Multi-tenant Memory Management for Cloud data storage,M3C),該機制依據(jù)租戶SLA目標按需為多租戶分配緩存,降低云緩存資源消