基于網(wǎng)頁更新頻率預(yù)測的增量爬蟲研究.pdf

1、近幾年互聯(lián)網(wǎng)發(fā)展迅速,從網(wǎng)頁的整體規(guī)模角度分析,網(wǎng)頁的數(shù)量以前所未有的速度增加;就單個網(wǎng)頁的更新速率而言,只有部分網(wǎng)頁的更新頻率較快。以上這些因素給搜索引擎帶來了極大的挑戰(zhàn),因此在快、準(zhǔn)、全、新的衡量標(biāo)準(zhǔn)下,針對信息采集的爬蟲爬行策略的研究有著重要的意義。
　　本文圍繞著能夠在實際環(huán)境中提高爬蟲爬行效率的需求,在深入研究了爬蟲的工作原理的基礎(chǔ)上，首先通過關(guān)于時間序列的數(shù)學(xué)建模,提出了網(wǎng)頁更新頻率預(yù)測的爬行策略。其次提出了建立了評價

2、網(wǎng)頁更新頻率預(yù)測效果的標(biāo)準(zhǔn)數(shù)據(jù)集的思想,并建立了部分?jǐn)?shù)據(jù)集,以可定制的時間、網(wǎng)頁變化粒度記錄了網(wǎng)頁變化過程,方便其他研究人員的使用。最后在標(biāo)準(zhǔn)數(shù)據(jù)集的基礎(chǔ)上對網(wǎng)頁更新頻率的數(shù)學(xué)模型不斷進(jìn)行優(yōu)化和改進(jìn),能夠應(yīng)用到實際系統(tǒng)中。
　　本文研究的內(nèi)容和成果歸結(jié)為以下方面:
　　首先,結(jié)合爬蟲實際應(yīng)用需求和時間序列的相關(guān)理論,提出了基于馬爾科夫鏈的網(wǎng)頁更新預(yù)測的數(shù)據(jù)模型,驗證了預(yù)測網(wǎng)頁更新頻率在實際應(yīng)用的可行性。
　　其次,建立

3、了評價網(wǎng)頁更新頻率預(yù)測效果的標(biāo)準(zhǔn)數(shù)據(jù)集。標(biāo)準(zhǔn)數(shù)據(jù)集的數(shù)據(jù)來源從橫向上來自于不同類型網(wǎng)站,從縱向上來自于同一站點的不同類型網(wǎng)頁,形成多維度的網(wǎng)頁采集結(jié)構(gòu),保證網(wǎng)頁的多樣性、針對性、代表性。以可定制的時間粒度和網(wǎng)頁變化粒度記錄了網(wǎng)頁變化過程,使得其他相關(guān)研究人員無需下載網(wǎng)頁就可以通過記錄的數(shù)據(jù)進(jìn)行網(wǎng)頁更新的預(yù)測和對預(yù)測結(jié)果進(jìn)行評價。
　　然后,在建立的標(biāo)準(zhǔn)數(shù)據(jù)集上通過準(zhǔn)確率、命中率、覆蓋率、F-measure等評價指標(biāo)對基于馬爾科夫鏈