云環(huán)境下基于重復(fù)數(shù)據(jù)的緩存替換算法研究.pdf

1、隨著大數(shù)據(jù)時(shí)代的到來(lái)，用戶對(duì)數(shù)據(jù)的訪問(wèn)模式已經(jīng)從傳統(tǒng)的類Zipf分布轉(zhuǎn)變成SE（Stretched Exponential）分布。
　　在 SE分布下，冷數(shù)據(jù)的比重明顯增大，相比于 Zipf分布，用戶的訪問(wèn)將會(huì)更廣泛地分布在冷數(shù)據(jù)中；此外，相似文件的比例也有所上升，導(dǎo)致文件間的數(shù)據(jù)塊重復(fù)度提高。為了提高緩存系統(tǒng)的效率，通過(guò)研究數(shù)據(jù)之間的特征，提出了一種新的緩存替換算法CIH（Cold-In-Hot）。該算法利用冷文件中包含的熱文件

2、的數(shù)據(jù)塊，在緩存系統(tǒng)初始化時(shí)，先要將存儲(chǔ)的文件進(jìn)行分塊重刪；再對(duì)分塊后的數(shù)據(jù)塊使用SHA1算法進(jìn)行求哈希，得到數(shù)據(jù)塊的指紋，以此作為數(shù)據(jù)塊的唯一標(biāo)示。在緩存中，文件將以數(shù)據(jù)塊的方式來(lái)進(jìn)行存儲(chǔ)，且僅僅只需要存儲(chǔ)一份相同的數(shù)據(jù)塊。CIH算法額外考慮了文件分塊后數(shù)據(jù)塊的重復(fù)度這一因素；通過(guò)綜合考慮文件的時(shí)間、頻率和重復(fù)度這些因素來(lái)選擇緩存系統(tǒng)中要替換的數(shù)據(jù)，以此提高緩存的命中率。
　　通過(guò)測(cè)試發(fā)現(xiàn)，不管在何種分布下，CIH算法相比較于L