云計(jì)算環(huán)境分布式存儲關(guān)鍵技術(shù)的研究.pdf

1、新一代IT技術(shù)發(fā)展浪潮已經(jīng)來到了我們身邊。云計(jì)算及其相關(guān)技術(shù)作為這股浪潮的核心組成部分，正潛移默化地影響著我們的生產(chǎn)和生活方式。分布式存儲技術(shù)作為構(gòu)建云計(jì)算基礎(chǔ)設(shè)施的關(guān)鍵技術(shù)，面臨著全新挑戰(zhàn)。如何在超大規(guī)模、海量數(shù)據(jù)、高可用性、高可擴(kuò)展性的云計(jì)算環(huán)境下，構(gòu)建高性能、高可靠性的大規(guī)模分布式存儲系統(tǒng)，受到了工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注。
　　基于對現(xiàn)有云計(jì)算以及分布式存儲相關(guān)技術(shù)發(fā)展現(xiàn)狀的理解和認(rèn)識，本文對相關(guān)研究成果進(jìn)行了全面、深入、具

2、體的分析和探討，并且就云計(jì)算環(huán)境下分布式存儲關(guān)鍵技術(shù)開展了細(xì)致入微的研究工作，取得了部分研究成果和創(chuàng)新。
　　本文的研究成果和創(chuàng)新包括：
　　1、提出了一種新的基于數(shù)據(jù)塊合并的重復(fù)數(shù)據(jù)刪除算法?，F(xiàn)有的重復(fù)數(shù)據(jù)刪除算法著重考慮數(shù)據(jù)塊劃分粒度、指紋計(jì)算、索引查詢及更新優(yōu)化等問題，沒有考慮子數(shù)據(jù)塊合并引入的額外開銷。本文提出的新算法在子數(shù)據(jù)塊的合并過程中，同時(shí)考慮最小子數(shù)據(jù)塊數(shù)目和最大子數(shù)據(jù)塊數(shù)目，并且通過動態(tài)調(diào)整子數(shù)據(jù)塊合并的數(shù)

3、目，從而減少了算法中子數(shù)據(jù)塊的合并開銷，降低了重復(fù)數(shù)據(jù)刪除算法的時(shí)間復(fù)雜度，提高了存儲空間的利用效率。
　　2、設(shè)計(jì)了一種基于金剛石拓?fù)浣Y(jié)構(gòu)的消息傳播策略?，F(xiàn)有的消息傳播策略，或者注重消息傳播的高效性，或者在部分節(jié)點(diǎn)失效時(shí)，仍能保證其它正常節(jié)點(diǎn)接收到消息。本文提出的消息傳播策略能夠在兩者之間取得較好的均衡，既可保證消息快速傳播到系統(tǒng)中正常工作的節(jié)點(diǎn)，又能利用金剛石拓?fù)浣Y(jié)構(gòu)中層級節(jié)點(diǎn)之間的冗余連接，確保部分節(jié)點(diǎn)失效時(shí)其余節(jié)點(diǎn)仍然能夠

4、收到消息。
　　3、實(shí)現(xiàn)了一種基于免疫優(yōu)化策略的副本放置算法。現(xiàn)有的副本放置算法，僅僅考慮部分影響因素，如網(wǎng)絡(luò)帶寬使用率、副本放置節(jié)點(diǎn)與用戶之間的距離，用戶訪問副本代價(jià)等。本文引入了免疫系統(tǒng)核心思想，通過免疫優(yōu)化算法的克隆選擇和免疫記憶過程，計(jì)算分布式存儲系統(tǒng)中所有節(jié)點(diǎn)的親和度，然后根據(jù)親和度結(jié)果選擇合適的節(jié)點(diǎn)用于放置數(shù)據(jù)副本。該副本放置算法收斂速度快，并且能夠降低用戶訪問副本的響應(yīng)時(shí)間。
　　4、提出了一種基于代理的一致性

5、算法A*Raft。Raft是一種針對經(jīng)典Paxos算法進(jìn)行優(yōu)化的一致性算法，但是該算法存在著領(lǐng)導(dǎo)者節(jié)點(diǎn)單點(diǎn)失效、節(jié)點(diǎn)日志一致化過程效率低的問題。本文提出的A*Raft算法，通過對節(jié)點(diǎn)日志一致化過程開銷進(jìn)行定義，選出合適的代理節(jié)點(diǎn)，用于分擔(dān)領(lǐng)導(dǎo)者節(jié)點(diǎn)在日志一致化過程中的開銷，均衡領(lǐng)導(dǎo)者節(jié)點(diǎn)負(fù)載。此外，A*Raft算法能夠減少領(lǐng)導(dǎo)者節(jié)點(diǎn)的選舉次數(shù)，減少算法的時(shí)間復(fù)雜度。
　　綜上所述，本文從重復(fù)數(shù)據(jù)刪除技術(shù)、消息傳播策略、副本放置策略