基于Swift的海量小文件對(duì)象存儲(chǔ)研究.pdf

1、隨著互聯(lián)網(wǎng)快速發(fā)展，數(shù)據(jù)呈爆炸式增長，在當(dāng)前眾多互聯(lián)網(wǎng)應(yīng)用場景中80％為小文件。相對(duì)于大文件，海量小文件的存取給文件系統(tǒng)帶來巨大的壓力，因此其存儲(chǔ)效率成為云存儲(chǔ)行業(yè)關(guān)注的重點(diǎn)問題。目前大多數(shù)分布式存儲(chǔ)系統(tǒng)在網(wǎng)絡(luò)通信、元數(shù)據(jù)訪問、數(shù)據(jù)布局等方面?zhèn)戎赜诖笪募瑢?duì)海量小文件的IOPS性能影響較大。而對(duì)象存儲(chǔ)作為一種新型分布式存儲(chǔ)架構(gòu)被工業(yè)界普遍使用，其中Swift作為對(duì)象存儲(chǔ)的實(shí)現(xiàn)范例在數(shù)據(jù)存取速度上有明顯優(yōu)勢，為提高海量小文件的存儲(chǔ)性能提供

2、了新的可能。
　　本文基于Swift對(duì)象存儲(chǔ)架構(gòu)對(duì)海量小文件的存取機(jī)制的優(yōu)化進(jìn)行研究。首先，為了提升海量小文件在存儲(chǔ)時(shí)的寫入性能，提出一種基于文件寫入請(qǐng)求的時(shí)序特性的數(shù)據(jù)聚合存儲(chǔ)策略；同時(shí)，建立分布式二級(jí)索引機(jī)制，解決代理節(jié)點(diǎn)的元數(shù)據(jù)管理的性能瓶頸。通過大量的仿真實(shí)驗(yàn)表明，相對(duì)原始系統(tǒng)的存儲(chǔ)機(jī)制，本存儲(chǔ)優(yōu)化機(jī)制采用數(shù)據(jù)聚合分級(jí)索引策略，數(shù)據(jù)寫入的響應(yīng)時(shí)間更短，索引維護(hù)代價(jià)更低。
　　其次，針對(duì)二級(jí)索引機(jī)制的引入帶來小文件讀取

3、響應(yīng)時(shí)間增長的不利影響，本文首先提出了一種結(jié)合歷史關(guān)聯(lián)性與語義關(guān)聯(lián)性的對(duì)象關(guān)聯(lián)性評(píng)估模型。然后借助于對(duì)象關(guān)聯(lián)性評(píng)估數(shù)據(jù)進(jìn)行對(duì)象預(yù)測分析，通過建立預(yù)取策略來減少小文件讀取的響應(yīng)時(shí)間。其次為提高預(yù)測的準(zhǔn)確度，本模型提出回歸分析的校正方法，首先通過HP公司真實(shí)日志數(shù)據(jù)對(duì)預(yù)測結(jié)果進(jìn)行校對(duì)，其次修正結(jié)果反饋優(yōu)化評(píng)估模型的權(quán)重分配，然后進(jìn)一步擬合數(shù)據(jù)時(shí)序，實(shí)驗(yàn)結(jié)果表明，相比于傳統(tǒng)，本模型提高了數(shù)據(jù)在訪問時(shí)的效率。
　　最后，本文通過完成整合數(shù)