對象存儲系統(tǒng)副本管理研究.pdf

1、對象存儲技術(shù)就是充分利用對象存儲設(shè)備(Object Storage Device, OSD)的功能和處理能力,將操作系統(tǒng)的部分功能轉(zhuǎn)移到設(shè)備上,對外提供極富表達(dá)力的對象接口,基于此建立的對象存儲系統(tǒng)具有很強(qiáng)的可擴(kuò)展性、可共享性、高可靠性以及高可用性等良好性能。
　　對象存儲系統(tǒng)具有用戶多、用戶類型多、網(wǎng)絡(luò)環(huán)境復(fù)雜和存儲對象類型多種多樣等特點,這對對象存儲系統(tǒng)在提供持續(xù)穩(wěn)定、高性能的存儲服務(wù)方面提出了更高的要求。為了保障對象存儲系統(tǒng)

2、能夠穩(wěn)定有效地提供高性能存儲服務(wù),將副本技術(shù)引入對象存儲系統(tǒng),通過創(chuàng)建對象副本,將副本放置在合適的存儲節(jié)點上,實現(xiàn)I/O請求的就近響應(yīng),從而達(dá)到降低訪問延遲、節(jié)約網(wǎng)絡(luò)帶寬、提高系統(tǒng)性能的目的。
　　副本技術(shù)的引入使得對象存儲系統(tǒng)存在了大量的對象副本,這些副本的有效管理至關(guān)重要。管理策略的不恰當(dāng),不僅會使的系統(tǒng)存儲能力受到極大浪費,而且還會造成性能的不升反降。為了避免出現(xiàn)這種情況,充分發(fā)揮副本技術(shù)對對象存儲系統(tǒng)性能提高的好處,本文對

3、副本技術(shù)在對象存儲系統(tǒng)中的管理進(jìn)行了研究,并取得了以下幾個方面的成果:
　　(1)將副本技術(shù)應(yīng)用于對象存儲系統(tǒng),并給出了三種對象存儲系統(tǒng)副本管理框架,分別是集中式、分布式和協(xié)作式副本管理框架。集中式管理框架是指副本管理機(jī)制完全在元數(shù)據(jù)服務(wù)器上來實現(xiàn),優(yōu)勢是實現(xiàn)簡單,但是它使得元數(shù)據(jù)服務(wù)器成為系統(tǒng)瓶頸的機(jī)率增加;分布式管理框架是指將副本管理策略分布在各個OSD上實現(xiàn),元數(shù)據(jù)服務(wù)器成為系統(tǒng)瓶頸的風(fēng)險降低,但是為了實現(xiàn)副本管理策略O(shè)SD

4、間頻繁的通信使得系統(tǒng)開銷增大;從集中式和分布式管理框架的優(yōu)劣出發(fā),提出的協(xié)作式管理框架將副本管理中需要全局信息支撐強(qiáng)的管理機(jī)制如優(yōu)化布局、副本定位、系統(tǒng)負(fù)載平衡策略等都在元數(shù)據(jù)服務(wù)器上實現(xiàn),而副本管理中需要全局信息支撐弱的管理機(jī)制如副本的創(chuàng)建策略、訪問熱度隊列的維護(hù)、對象屬性信息的采集等都在OSD上實現(xiàn)。
　　(2)將Agent技術(shù)應(yīng)用于對象存儲系統(tǒng),Agent在OSD上注冊執(zhí)行,實現(xiàn)副本的創(chuàng)建、訪問熱度隊列的維護(hù)、屬性的修改、元

5、數(shù)據(jù)信息的采集,既方便了副本管理機(jī)制的實現(xiàn),又提高了副本管理的效率。
　　(3)創(chuàng)建副本時采用了基于存儲域的副本創(chuàng)建策略,該策略避免了創(chuàng)建的副本在整個存儲系統(tǒng)內(nèi)的任意放置,而是根據(jù)存儲節(jié)點所能提供的帶寬、能提供的服務(wù)以及節(jié)點間傳輸?shù)拈_銷將它們分成不同的存儲域,副本創(chuàng)建的時候根據(jù)域內(nèi)以及域間的相關(guān)性選擇合適的存儲節(jié)點來放置副本。
　　(4)副本定位時采用基于多維屬性的副本管理機(jī)制,該管理機(jī)制通過將對象的關(guān)鍵屬性作為維度,建立多

6、維度的管理機(jī)制。在定位時采用多維索引技術(shù),并實現(xiàn)了相似檢索、優(yōu)化樹檢索和改進(jìn)的優(yōu)化樹——one-path樹檢索三種算法,仿真實驗表明多維副本管理機(jī)制下能夠達(dá)到較好的搜索性能。
　　(5)在有副本的對象存儲系統(tǒng)中實現(xiàn)負(fù)載平衡時,采用雙向調(diào)平機(jī)制,該機(jī)制的本質(zhì)就是在副本創(chuàng)建一開始就充分考慮負(fù)載平衡的問題,將副本放置在最優(yōu)位置,盡可能消除負(fù)載不平衡的潛在風(fēng)險,這是主動調(diào)平機(jī)制。但隨著系統(tǒng)的不斷運行和網(wǎng)絡(luò)環(huán)境的不斷變化,系統(tǒng)負(fù)載仍然可能出

7、現(xiàn)不平衡,此時采取被動調(diào)平機(jī)制來加以修正以達(dá)到新的平衡,系統(tǒng)仿真測試表明這種機(jī)制負(fù)載平衡效果明顯。
　　(6)應(yīng)用Petri網(wǎng)理論對系統(tǒng)負(fù)載平衡遷移策略的控制進(jìn)行了描述,描述表明Petri理論對遷移策略控制的描述準(zhǔn)確和充分,是一種非常有力的描述工具,也證明了對負(fù)載平衡遷移的控制是有效的。
　　從已有研究文獻(xiàn)和本研究所取得的成果來看,尤其是在存儲容量已不再是制約信息存儲最關(guān)鍵問題的時候,犧牲一些存儲容量,引入副本技術(shù),對存儲系