基于在線自學(xué)習(xí)的頁(yè)面更新頻率預(yù)測(cè)算法.pdf

1、近年來(lái),互聯(lián)網(wǎng)的整體規(guī)模越來(lái)越大,作為搜索引擎采集模塊的爬蟲的工作壓力與日俱增,即使最專業(yè)的搜索引擎服務(wù)提供商,如谷歌、百度,也無(wú)法保證所有頁(yè)面的時(shí)效性。而就單個(gè)頁(yè)面而言,只有部分頁(yè)面的變化頻率較快。因而,通過(guò)頁(yè)面更新頻率預(yù)測(cè)算法使爬蟲只下載那些變化了的網(wǎng)頁(yè),對(duì)減輕爬蟲的工作壓力有著重要的意義。
　　本文圍繞著如何在實(shí)際環(huán)境中有效預(yù)測(cè)網(wǎng)頁(yè)變化的需要,在深入研究了網(wǎng)頁(yè)變化規(guī)律的基礎(chǔ)上,基于在線抽樣檢測(cè)的算法思想,研究了網(wǎng)頁(yè)不同特征集

2、對(duì)基于聚類的抽樣檢測(cè)算法的影響,特征集包括詞向量特征、文本特征、URL特征、動(dòng)態(tài)特征等。在此基礎(chǔ)上創(chuàng)新性的提出了遺傳基因特征的概念,利用遺傳基因特征實(shí)現(xiàn)了自學(xué)習(xí)的優(yōu)化算法。為了確定實(shí)驗(yàn)效果、評(píng)價(jià)我們的算法,我們搜集了一個(gè)真實(shí)網(wǎng)頁(yè)集合的真實(shí)變化情況,建立了實(shí)驗(yàn)數(shù)據(jù)集。
　　本文研究的內(nèi)容和成果歸結(jié)為以下方面:
　　首先,建立了評(píng)價(jià)網(wǎng)頁(yè)更新頻率預(yù)測(cè)效果的實(shí)驗(yàn)數(shù)據(jù)集。實(shí)驗(yàn)數(shù)據(jù)集來(lái)源于不同類型網(wǎng)站的不同類型網(wǎng)頁(yè),保證網(wǎng)頁(yè)集合的多樣性

3、與代表性,使得其他研究人員可以在此數(shù)據(jù)集上進(jìn)行網(wǎng)頁(yè)更新的預(yù)測(cè)的相關(guān)研究。數(shù)據(jù)集網(wǎng)頁(yè)數(shù)量約為30萬(wàn),分布在不同的122個(gè)網(wǎng)站上。
　　然后,提取了網(wǎng)頁(yè)的詞向量特征、文本特征、URL特征、動(dòng)態(tài)特征等,研究了不同特征集對(duì)基于聚類的在線抽樣檢測(cè)算法的影響,并利用預(yù)測(cè)命中率評(píng)價(jià)指標(biāo)量化了不同特征集對(duì)聚類算法實(shí)驗(yàn)效果的影響,進(jìn)而分析了聚類算法的有效性與性能上限。
　　最后,本文提出了利用遺傳基因特征自動(dòng)優(yōu)化下一輪的特征,進(jìn)而實(shí)現(xiàn)了在線自