基于RSS的聚焦網(wǎng)絡(luò)爬蟲在高校網(wǎng)站群中的研究.pdf

1、網(wǎng)絡(luò)發(fā)展迅速,網(wǎng)頁數(shù)量越來越龐大,人們?yōu)榱双@取需要的信息,往往需要翻閱大量的網(wǎng)頁,浪費(fèi)時(shí)間和精力,并且還不一定能夠獲取最新最全的信息,而網(wǎng)絡(luò)信息的發(fā)布者也希望有更多的用戶能夠?qū)崟r(shí)的閱讀自己的信息,為此有很多針對(duì)該需求的研究孕育而生,例如由網(wǎng)絡(luò)爬蟲支持的搜索引擎、RSS信息推送等。但是它們都各有各的局限性,例如我們需要按照分類得到某高校的所有網(wǎng)站中的最新通知,比如該高校所有科研類別的最新通知。使用搜索引擎進(jìn)行搜索,結(jié)果差強(qiáng)人意。而RSS雖

2、然可以實(shí)現(xiàn)分類的推送最新信息,但是它推送的信息僅限于那些提供RSS feed的網(wǎng)站。對(duì)于一些類似于高校網(wǎng)站群這種早期建立的時(shí)候就沒有實(shí)現(xiàn)RSS推送功能的對(duì)象來說,它就愛莫能助了。
　　 因此,本文主要研究基于RSS的聚焦網(wǎng)絡(luò)爬蟲來解決上述問題,并將其應(yīng)用在高校網(wǎng)站群中,取得了較好的效果。它的原理是用聚焦網(wǎng)絡(luò)爬蟲對(duì)目標(biāo)網(wǎng)站群的數(shù)據(jù)進(jìn)行抓取、分析和處理,然后提供RSS推送。通:過這種方式,對(duì)于即使沒有提供RSS feed的網(wǎng)站,用戶

3、也可以通過RSS閱讀器:分類訂閱其最新的信息。免去了大量翻閱網(wǎng)頁查找信息的麻煩,以及查找疏忽對(duì)信息的遺漏。
　　 本文的主要研究?jī)?nèi)容包括:
　　 (1)提出一種新的基于RSS的聚焦網(wǎng)絡(luò)爬蟲的研究,使得用戶可以使用RSS閱讀器,訂閱并閱讀到?jīng)]有提供RSS feed的網(wǎng)站的最新的信息。過濾無用的廣告等垃圾信息,免去查找信息的麻煩。
　　 (2)基于TF-IDF算法對(duì)抓取的網(wǎng)頁文本進(jìn)行分類,并且在用TF-IDF提取不同