并行磁盤系統(tǒng)的預(yù)取及緩存技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)、計算機(jī)技術(shù)的發(fā)展以及大規(guī)模數(shù)據(jù)密集型應(yīng)用的出現(xiàn)，基于并行磁盤的存儲系統(tǒng)變得越來越重要，并被廣泛應(yīng)用于各種場合。然而，磁盤性能的提高遠(yuǎn)遠(yuǎn)落后于處理器等電子設(shè)備，這使得存儲系統(tǒng)仍舊是整個計算機(jī)系統(tǒng)的性能瓶頸。預(yù)取(Prefetching)以及緩存(Caching)是能夠提高存儲系統(tǒng)性能的兩種非常有效的技術(shù)。但是，傳統(tǒng)的預(yù)取以及緩存大多針對單個存儲設(shè)備而設(shè)計，它們很難適應(yīng)并行磁盤系統(tǒng)。并行磁盤系統(tǒng)無論是在結(jié)構(gòu)上還是訪問特點(diǎn)上都為預(yù)取

2、以及緩存技術(shù)提出了新的挑戰(zhàn)。因此，根據(jù)并行磁盤系統(tǒng)的特點(diǎn)改進(jìn)預(yù)取以及緩存技術(shù)使之適應(yīng)并有效地提高并行存儲系統(tǒng)的性能非常有意義。
　　順序訪問是磁盤訪問中最為重要的一種訪問模式，因?yàn)閷Υ疟P（包括 RAID中的磁盤）來說，順序訪問與隨機(jī)訪問之間的性能差距最大可有一個數(shù)量級以上的差別。正因?yàn)轫樞蛟L問可帶來性能提高，因此無論是在工業(yè)界還是在學(xué)術(shù)界都有大量的技術(shù)致力于挖掘或者改善存儲系統(tǒng)中的順序訪問。這些技術(shù)面臨的一個重大挑戰(zhàn)在于：如何獲取

3、順序訪問流的長度信息，只有對長度信息具有一定程度的了解，相關(guān)技術(shù)才能真正發(fā)揮出其功用。針對這種情況，提出一種加權(quán)圖模型挖掘和預(yù)測順序流長度信息。該模型不僅能準(zhǔn)確捕獲不規(guī)則的長度信息變化，也能根據(jù)不同負(fù)載類型的特點(diǎn)動態(tài)調(diào)整以適應(yīng)盡可能多的應(yīng)用環(huán)境。
　　并行磁盤系統(tǒng)因?yàn)槠浔旧淼奶攸c(diǎn)往往用作數(shù)據(jù)中心的最底層存儲設(shè)備，因此其配置的緩存一般都屬于第二層緩存。第二層緩存的一個最主要特點(diǎn)是：數(shù)據(jù)訪問具有很弱的時間局部性，這是因?yàn)榈竭_(dá)第二層緩存

4、的訪問，都是來自于第一層緩存的缺失（Miss）。更為嚴(yán)重的是，隨著存儲系統(tǒng)緩存與主機(jī)緩存的配置越來越接近，第二層緩存中數(shù)據(jù)的重用距離（Reuse Distance）與數(shù)據(jù)被保存在緩存中的生命周期越來越接近。在這種情況下，任何提前減少第二層緩存數(shù)據(jù)生命周期的動作（如預(yù)?。┒伎赡茏罱K導(dǎo)致數(shù)據(jù)失去在緩存中被再次訪問的機(jī)會。然而，這個問題在傳統(tǒng)的預(yù)取算法中沒有得到重視。針對第二層緩存的這些問題，提出一種自適應(yīng)順序預(yù)取算法ASEP，在決定預(yù)取深度

5、的時候該算法不僅僅考慮磁盤順序性的挖掘，還考慮到對第二層緩存中數(shù)據(jù)造成的影響，這些影響既包括因預(yù)取操作被替換出內(nèi)存的數(shù)據(jù)，還包括因?yàn)樯芷诒粶p少而失去再次被訪問機(jī)會的數(shù)據(jù)。為此，ASEP還提出了一種模型用于評估預(yù)取數(shù)據(jù)對第二層緩存的影響。該算法大大提高了第二層緩存的訪問命中率，改善了順序預(yù)取在底層存儲設(shè)備中的效率。
　　在高度并行化的并行磁盤系統(tǒng)中，就預(yù)取技術(shù)來說，其預(yù)取請求的磁盤獨(dú)立性要比并行性更加重要，前者可以大大降低預(yù)取請

6、求的成本?？紤]到傳統(tǒng)預(yù)取算法在應(yīng)用到并行存儲系統(tǒng)中的局限性（數(shù)據(jù)條帶分布導(dǎo)致順序性缺失），提出了一種針對并行磁盤系統(tǒng)的基于訪問局部性的條帶化預(yù)取算法 LSP。條帶化預(yù)取(Strip Prefetching)是一種數(shù)據(jù)讀取代價非常少的預(yù)取算法，一旦磁盤條帶(Strip)上的某個數(shù)據(jù)塊被命中，那么整個磁盤條帶將會跟隨此數(shù)據(jù)塊一起被預(yù)取到緩存中，從而節(jié)省了預(yù)取請求中磁頭定位尋道時間。更重要的是LSP將用戶的訪問特征融合到條帶化預(yù)取之中，它首先

7、根據(jù)用戶的訪問挖掘出磁盤上的預(yù)取區(qū)域，并限定只有位于這些預(yù)取區(qū)域的磁盤條帶才會被預(yù)取。由于預(yù)取區(qū)域在數(shù)據(jù)分布上的空間局部性，此算法可以有效地改善緩存利用率，并提高磁盤帶寬的使用效率避免帶寬的浪費(fèi)。
　　傳統(tǒng)緩存管理算法往往以最小化緩存失效（Cache Miss）的數(shù)量作為設(shè)計目標(biāo)。實(shí)際上，這樣的設(shè)計目標(biāo)可能導(dǎo)致錯誤。一方面，可磁盤并行讀取數(shù)據(jù)的緩存失效其成本要遠(yuǎn)小于只能序列化讀取的緩存失效，同樣可順序讀取的緩存失效也遠(yuǎn)小于隨機(jī)緩存