基于Swift的小對象訪問性能優(yōu)化研究與實現(xiàn).pdf

1、伴隨著互聯(lián)網(wǎng)的快速發(fā)展與普及，越來越多的個人用戶在使用網(wǎng)絡應用的同時產(chǎn)生大量的數(shù)據(jù)。而云技術(shù)的發(fā)展也使得更多的企業(yè)用戶選擇將數(shù)據(jù)服務遷移到云中。在電子商務、社交網(wǎng)站、視頻服務等網(wǎng)絡應用中，服務端每天都產(chǎn)生大量的小文件，久而久之小文件的數(shù)量呈幾何級增長。傳統(tǒng)的存儲系統(tǒng)往往針對大文件進行設計，在面對小文件存儲時往往性能低下。本文以Openstack Swift分布式存儲系統(tǒng)為實驗平臺，利用小文件存儲的特點，對存儲系統(tǒng)讀寫性能優(yōu)化進行研究。<

2、br>　　首先，Swift中的對象服務通過調(diào)用底層文件系統(tǒng)對數(shù)據(jù)進行讀寫。在面對小文件的隨機訪問時，存儲節(jié)點需要頻繁從磁盤中讀取元數(shù)據(jù)，浪費了大量的磁盤I/O。本文提出對文件進行合并存取的Swift改進方案，并在內(nèi)存中建立文件的索引，減少元數(shù)據(jù)使用空間。存儲節(jié)點可以將所有的文件元數(shù)據(jù)緩存在內(nèi)存中，在小文件訪問時只需要一次連續(xù)的磁盤I/O操作，以此改善Swift存儲系統(tǒng)在處理小文件場景下的隨機讀寫性能。通過對文件組織形式的改變，以虛擬分區(qū)

3、進行文件整合，以此降低數(shù)據(jù)遷移時對系統(tǒng)帶寬的影響。
　　其次，對于分布式存儲系統(tǒng)，其外部的CDN服務往往具備緩存功能。時間局部性強的數(shù)據(jù)通過被外部緩存被讀取，從而導致存儲系統(tǒng)本身的數(shù)據(jù)緩存命中率降低。本文提出基于預取緩存的Swift改進框架。將對文件訪問的日志記錄進行分析，利用數(shù)據(jù)挖掘的方式計算出文件的訪問模式。將相關(guān)性強的小文件進行合并存儲，并且在訪問過程中對文件進行預取，用以增加Swift存儲系統(tǒng)的數(shù)據(jù)緩存效果。在緩存過程中對

4、文件的相關(guān)率進行驗證，降低錯誤的預取對系統(tǒng)性能的影響。
　　最后，本文通過Cosbench模擬不同大小的文件讀寫，對整合了合并存儲優(yōu)化模塊的Swift存儲系統(tǒng)進行測評，驗證對小文件讀寫的性能的改進效果。并通過真實的訪問日志，模擬其訪問過程，分析預取模塊對系統(tǒng)性能的影響。實驗表明，基于合并存儲的方式在面對越小的文件時，系統(tǒng)帶寬提升效果越明顯。合并的方式也可以有效的降低數(shù)據(jù)遷移對系統(tǒng)吞吐量的影響?；谖募P(guān)聯(lián)的預取策略雖然會降低系統(tǒng)帶