Web流量特征模型的研究和應(yīng)用.pdf

1、Web緩存技術(shù)是提高Web性能的一種有效方法.Web緩存管理是Web緩存技術(shù)的核心問題,研究Web訪問特征的數(shù)學(xué)模型是有效進(jìn)行Web緩存管理的基礎(chǔ).通過對(duì)Web用戶的行為跟蹤,對(duì)Web對(duì)象訪問特征的深入研究分析,發(fā)現(xiàn)Web對(duì)象訪問具有以下幾個(gè)共同特征:(1)Web對(duì)象流行度符合Zipf定律;(2)Web對(duì)象大小服從重尾分布;(3)Web對(duì)象訪問具有局部性特征等. 訪問局部性特征對(duì)緩存和預(yù)取系統(tǒng)的性能和設(shè)計(jì)方面有很大的影響.網(wǎng)絡(luò)訪問的局部

2、性特征包括時(shí)間局部性和空間局部性,利用數(shù)學(xué)建模方法研究局部性特征對(duì)于緩存和預(yù)取系統(tǒng)的設(shè)計(jì)及性能提高具有重要的作用.通過分析和討論,本文利用信息熵和變異系數(shù)建立了網(wǎng)絡(luò)流量局部性特征新的度量方法,信息熵比Zipf定律更能反映訪問流的時(shí)間局部性,變異系數(shù)則解決了訪問流的相同文檔間的空間局部性建模問題.實(shí)驗(yàn)和分析表明這些參數(shù)能較好地描述網(wǎng)絡(luò)訪問流的局部性特征,而且易于使用. Web日志生成模擬器可以按用戶指定的Web訪問特征生成模擬日志

3、,為研究Web緩存系統(tǒng)性能提供了理論基礎(chǔ).本文通過分析Web對(duì)象訪問特征,采用數(shù)學(xué)模擬方法分別模擬了Web對(duì)象流行度特征、Web對(duì)象大小重尾分布特征以及Web訪問的時(shí)間局部性特征,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)Web流量特征模擬生成器WebSimGen,并通過實(shí)驗(yàn)驗(yàn)證了這個(gè)模擬器的有效性.基于兩層代理緩存結(jié)構(gòu),利用模擬生成的日志,用ADF模型(Aggregation、Disaggregation和Filtering)對(duì)模擬Web流量的訪問特征和性能進(jìn)